Модальность · Текст
Текст · Состязательные изменения и перенос между NLP-классификаторами
Можно ли допустимой правкой SMS-сообщения обмануть один фильтр спама и вместе с ним другой, независимо обученный?
Пара моделейModellar juftligi источник → цель
Атака и бюджетHujum va byudjet
СообщениеXabar спам из тестовой части
Свой текст получает живые предсказания, но его метка не проверена — в метрики он не входит.
Лимит запросов 400 в сохранённых прогонах
Сохранённые прогоны выполнены при лимите 400.
Загрузка…
Исходный и изменённый текст
важное для источника словозамена по словарюсимвольная правказаменённое словонеизменяемый токен
Проверка ограниченийCheklovlar tekshiruvi
Контроль: столько же случайных допустимых правокNazorat: shuncha tasodifiy ruxsat etilgan tahrir
Примеры по исходам seed 42 · NB-word → LR-char · k = 3
Ход поискакаждый запрос к источнику: ранжирование слов, кандидаты, принятые и отклонённые правки
Chap tomonda — SMS va sozlamalar; o‘ngda — asl va o‘zgartirilgan matn, ikkala model javobi, cheklovlar tekshiruvi va tasodifiy nazorat. Hujum faqat manba modelining P(spam) bahosini so‘raydi; nishon model qidiruv tugagandan keyin baholanadi.
01
Все спам-сообщения теста: исходы и метрики переноса
Как часто атака, построенная на источнике, меняет решение источника и цели — по всем сообщениям J, а не на одном примере?
Выбранная пара
Ошибка цели после атаки на источнике (T_joint) для всех направленных пар
Строка — источник, на котором строилась атака; столбец — цель. В ячейке — доля сообщений J, на которых цель ошиблась, и дробь «ошибки / |J|». Нажмите ячейку, чтобы выбрать пару для лаборатории выше. Диагональ пуста: самоатака не является переносом.
Четыре исхода выбранной пары внутри J
Строки — решение источника после атаки, столбцы — решение цели. Строгий перенос — левая верхняя клетка (n₁₁); правая нижняя — ни одна модель не обманута (n₀₀).
Зависимость от бюджета k
Сплошная линия — ошибка цели после атаки; штриховая — ошибка цели после случайных допустимых правок в том же числе (контроль R); пунктир — успех атаки на источнике. Знаменатель каждой точки — |J| пары при этом seed.
Matritsa saqlangan hisobdan (VERIFIED RUN): har bir katakda nishon xatosi va kasr. Tugma tanlangan juftlik uchun hisobni brauzerda qaytadan bajaradi va natija saqlangan qatorlarga mos kelishini tekshiradi.
02
Повторы: три разбиения и три обучения
Насколько результат выбранной пары меняется от seed к seed?
Как читатьSeed меняет разбиение, словари и обучение одновременно; три повтора — не независимая выборка архитектур. Сообщения внутри пары зависимы между атаками и целями, поэтому p-value не приводятся. Интервал Вильсона в подсказке ячейки относится только к одной паре моделей при одном seed и предполагает независимость сообщений.
Uchta seed — bo‘linish, lug‘at va o‘qitishni birga o‘zgartiradi; bu mustaqil arxitekturalar tanlovi emas, shuning uchun p-value keltirilmaydi.
03
Что можно заключить
Какие утверждения следуют из сохранённых прогонов, какие остаются гипотезами, а какие не следуют вовсе?
числа — средние по seed 42/43/44 при k = 3, из summary.json
- Загрузка сводки прогонов…
Xulosalar saqlangan hisoblardan olinadi: tasdiqlangan da’volar, gipotezalar va xulosa qilib bo‘lmaydigan narsalar alohida ko‘rsatilgan.
04
Методика
Что именно проверяется, при каких допущениях и как считается каждое число?
Цель
Проверить, меняет ли допустимая правка спам-сообщения решение фильтра-источника и сохраняется ли эффект на независимо обученном фильтре-цели с другими признаками; измерить, как перенос зависит от направления пары, типа правок и бюджета k.
Maqsad: ruxsat etilgan tahrir manba filtrini aldaydimi va bu ta’sir boshqa belgilarga ega mustaqil filtrga ko‘chadimi — shuni o‘lchash.
Объект, предмет и границы
Объект — три линейных фильтра SMS-спама, обученных на английском корпусе UCI SMS Spam Collection: NB-word (наивный Байес, счётчики слов), LR-word (логистическая регрессия, TF-IDF слов и биграмм), LR-char (логистическая регрессия, TF-IDF символьных 3–5-грамм). Предмет — переносимость атак уклонения (evasion) от источника к цели.
Границы. Атакуются только спам-сообщения тестовой части; атака только заменяет слова или правит буквы внутри слова. Отравление данных, извлечение модели, атаки на приватность и prompt injection здесь не рассматриваются — это другие классы угроз.
Ob’ekt — uchta chiziqli SMS-spam filtri; predmet — hujumning manbadan nishonga ko‘chishi. Faqat test qismidagi spam xabarlar hujumga uchraydi.
Модель угроз
Злоумышленник — отправитель спама; его цель — чтобы фильтр признал сообщение легитимным (ham). Знания: может отправлять варианты сообщения модели-источнику и получать её оценку P(спам); весов и обучающих данных не знает; модель-цель ему недоступна. Возможности: заменить слово по словарю допустимых замен или изменить одну букву в слове; номера телефонов, короткие коды, цены, ссылки и отрицания не трогает; не более k изменённых слов и не более 400 запросов.
Выдача непрерывной оценки — сильное допущение: реальный фильтр обычно сообщает только решение или ничего. Поэтому успех атаки здесь — оценка сверху для такого злоумышленника.
Hujumchi — spam yuboruvchi; u faqat manba modelning P(spam) bahosini ko‘radi, vaznlarni bilmaydi, nishon modelga kira olmaydi.
Математическая постановка
Сообщение x — последовательность слов и разделителей, истинная метка y = 1 (спам). Множество допустимых правок
Поиск жадный и не гарантирует оптимума: важность слова i — Δi = Ps(x) − Ps(x без слова i); позиции перебираются по убыванию Δi; на позиции выбирается кандидат с наименьшей Ps, и он принимается, только если Ps уменьшилась. Остановка: Ps < 0,5, k правок, лимит запросов или конец списка позиций. Схема ранжирования близка к TextFooler (Jin et al., 2020), но кандидаты берутся из курируемого словаря, без эмбеддингов и без оценки семантической близости USE; символьные правки — в духе DeepWordBug (Gao et al., 2018). Это не реализации опубликованных алгоритмов.
Qidiruv ochko‘z: so‘zlar o‘chirilganda P(spam) qancha tushishi bo‘yicha tartiblanadi, har pozitsiyada eng kichik P(spam) beradigan nomzod olinadi.
Порядок эксперимента
- Корпус (5 574 сообщения) нормализуется (NFC); точные дубликаты после приведения к строчным буквам и схлопывания пробелов удаляются до разбиения: остаётся 5 159 сообщений, пересечение обучающей и тестовой частей — 0.
- Для seed 42, 43, 44 — стратифицированное разбиение 75/25 (3 869 / 1 290 сообщений, из них 161 спам в тесте).
- Три модели обучаются только на обучающей части с заранее зафиксированными гиперпараметрами; веса экспортируются в float32; браузерный движок обязан воспроизвести вероятности Python с точностью 10⁻⁹ и все метки точно (проверяется тестом).
- Для каждого спам-сообщения теста, каждого источника, обеих атак и k ∈ {1, 2, 3, 5}: поиск на источнике (лимит 400 запросов) → независимая проверка checkTextCandidate → решения обеих целей и случайного контроля.
- Метрики считаются по J — сообщениям, которые источник и цель до атаки верно отнесли к спаму; все строки сохраняются в файлах прогонов.
Dublikatlar bo‘linishdan oldin olib tashlanadi; uchta seed; modellar faqat o‘qitish qismida o‘qitiladi; har bir spam xabar uchun hujum, tekshiruv va nazorat.
Показатели
J — спам-сообщения, которые и источник, и цель до атаки отнесли к спаму. Внутри J nab: a — ошибся ли источник после атаки, b — ошиблась ли цель.
Нулевой знаменатель даёт N/A, а не 0. Случай n₀₁ (источник устоял, цель ошиблась) увеличивает ошибку цели, но не является переносом успешной атаки.
T_joint — nishon xatosi; T_cond — manbada muvaffaqiyatli hujumlar ichida nishon ham aldangan ulush; maxraj 0 bo‘lsa — N/A.
Контрольные условия
Для каждого атакованного сообщения строится контроль: столько же допустимых правок, сколько приняла атака, но позиции и кандидаты выбираются случайно (детерминированный генератор с seed, зависящим от пары, бюджета и сообщения) из того же словаря или тех же символьных операций. Контроль показывает, сколько ошибок цели вызывает сам сдвиг словаря без оптимизации по источнику. Он не доказывает устойчивость к произвольным правкам и не заменяет проверку людьми.
Nazorat: hujum qabul qilgan tahrirlar soniga teng tasodifiy ruxsat etilgan tahrirlar; u optimallashtirishsiz lug‘at siljishining ta’sirini ko‘rsatadi.
Ограничения
- Загрузка…
Cheklovlar: eski inglizcha SMS korpusi, uchta chiziqli model, ma’no saqlanishi faqat qoidalar bilan baholangan, CKA qo‘llanilmaydi.
05
Источники и воспроизведение
Откуда данные, на какие работы опирается метод и как получить те же числа?
Данные
T. A. Almeida, J. M. Gómez Hidalgo. SMS Spam Collection [Dataset]. UCI Machine Learning Repository, 2011. DOI 10.24432/C5CC84. Лицензия CC BY 4.0; корпус приведён без изменений текста, кроме удаления точных дубликатов. Вводная статья: T. A. Almeida, J. M. Gómez Hidalgo, A. Yamakami. Contributions to the study of SMS spam filtering: new collection and results // DocEng 2011. P. 259–262. doi:10.1145/2034691.2034742.
Работы, на которые опирается постановка
- N. Dalvi, P. Domingos, Mausam, S. Sanghai, D. Verma. Adversarial classification // KDD 2004. P. 99–108. doi:10.1145/1014052.1014066 — спам как игра классификатора и противника.
- D. Lowd, C. Meek. Good word attacks on statistical spam filters // CEAS 2005 — атаки добавлением «хороших» слов на наивный Байес и фильтр максимальной энтропии.
- J. Gao, J. Lanchantin, M. L. Soffa, Y. Qi. Black-box generation of adversarial text sequences to evade deep learning classifiers // IEEE Security and Privacy Workshops 2018. doi:10.1109/SPW.2018.00016 — символьные правки (DeepWordBug).
- J. Ebrahimi, A. Rao, D. Lowd, D. Dou. HotFlip: white-box adversarial examples for text classification // ACL 2018 (Vol. 2). P. 31–36. doi:10.18653/v1/P18-2006 — градиентная замена токенов; здесь не используется, приведена как белый ящик для сравнения.
- D. Jin, Z. Jin, J. T. Zhou, P. Szolovits. Is BERT really robust? A strong baseline for natural language attack on text classification and entailment // AAAI 2020. Vol. 34, No. 5. P. 8018–8025. doi:10.1609/aaai.v34i05.6311 — TextFooler: ранжирование слов удалением.
- J. Morris, E. Lifland, J. Y. Yoo, J. Grigsby, D. Jin, Y. Qi. TextAttack: a framework for adversarial attacks, data augmentation, and adversarial training in NLP // EMNLP 2020: System Demonstrations. P. 119–126. doi:10.18653/v1/2020.emnlp-demos.16 — разделение атаки на преобразование, ограничения, цель и поиск.
Метаданные сверены 19.11.2026 по страницам издателей, ACL Anthology, dblp и arXiv. Ссылка на работу не означает, что она подтверждает результаты этой лаборатории.
Файлы и хэши
Загрузка…
Команды
PYTHONUTF8=1 <venv>/python scripts/research/multimodal/train_text.pynode scripts/research/multimodal/run-text.mjsnode scripts/research/multimodal/run-text.mjs --checknode --test tests/mm-text.test.mjs
Первая команда проверяет скачанный архив по SHA-256 и заново обучает модели; повторный запуск даёт побайтно те же файлы моделей. Вторая выполняет все атаки тем же кодом, что и браузер; --check сравнивает пересчёт с сохранёнными файлами.
Ma’lumotlar UCI omboridan (CC BY 4.0); fayllar xeshlari va qayta hisoblash buyruqlari shu yerda.
06
Разбор для преподавателя
Десять шагов от задачи до вывода — каждый показывает живой элемент лаборатории.
Вопросы и ответы
07
Данные текущего состояния
Всё показанное — в машиночитаемом виде.
JSON содержит параметры, исходный и итоговый текст, правки, проверку ограничений, решения и P(спам) обеих моделей, контроль и хэши моделей; CSV — строки сохранённого прогона для выбранных seed, источника, атаки и k по всем 161 спам-сообщению.