Модальность · Текст

Текст · Состязательные изменения и перенос между NLP-классификаторами

Можно ли допустимой правкой SMS-сообщения обмануть один фильтр спама и вместе с ним другой, независимо обученный?

  • LIVE COMPUTATION
  • VERIFIED RUN

Пара моделейModellar juftligi источник → цель

Источник — атака видит только его P(спам)
Цель — оценивается только после поиска

Атака и бюджетHujum va byudjet

Тип правок
k — сколько слов можно изменить

СообщениеXabar спам из тестовой части

Свой текст получает живые предсказания, но его метка не проверена — в метрики он не входит.

Лимит запросов 400 в сохранённых прогонах

Сохранённые прогоны выполнены при лимите 400.

Загрузка…

истинная метка: – …

Исходный и изменённый текст

исходный текстasl matn · фон — важность слова для источника

после атакиhujumdan keyin

важное для источника словозамена по словарюсимвольная правказаменённое словонеизменяемый токен

Проверка ограниченийCheklovlar tekshiruvi

Контроль: столько же случайных допустимых правокNazorat: shuncha tasodifiy ruxsat etilgan tahrir

Примеры по исходам seed 42 · NB-word → LR-char · k = 3

Ход поискакаждый запрос к источнику: ранжирование слов, кандидаты, принятые и отклонённые правки

Chap tomonda — SMS va sozlamalar; o‘ngda — asl va o‘zgartirilgan matn, ikkala model javobi, cheklovlar tekshiruvi va tasodifiy nazorat. Hujum faqat manba modelining P(spam) bahosini so‘raydi; nishon model qidiruv tugagandan keyin baholanadi.

01

Все спам-сообщения теста: исходы и метрики переноса

Как часто атака, построенная на источнике, меняет решение источника и цели — по всем сообщениям J, а не на одном примере?

Выбранная пара

Рис. 1

Ошибка цели после атаки на источнике (T_joint) для всех направленных пар

Строка — источник, на котором строилась атака; столбец — цель. В ячейке — доля сообщений J, на которых цель ошиблась, и дробь «ошибки / |J|». Нажмите ячейку, чтобы выбрать пару для лаборатории выше. Диагональ пуста: самоатака не является переносом.

Рис. 2

Четыре исхода выбранной пары внутри J

Строки — решение источника после атаки, столбцы — решение цели. Строгий перенос — левая верхняя клетка (n₁₁); правая нижняя — ни одна модель не обманута (n₀₀).

Рис. 3

Зависимость от бюджета k

Сплошная линия — ошибка цели после атаки; штриховая — ошибка цели после случайных допустимых правок в том же числе (контроль R); пунктир — успех атаки на источнике. Знаменатель каждой точки — |J| пары при этом seed.

Matritsa saqlangan hisobdan (VERIFIED RUN): har bir katakda nishon xatosi va kasr. Tugma tanlangan juftlik uchun hisobni brauzerda qaytadan bajaradi va natija saqlangan qatorlarga mos kelishini tekshiradi.

02

Повторы: три разбиения и три обучения

Насколько результат выбранной пары меняется от seed к seed?

Как читатьSeed меняет разбиение, словари и обучение одновременно; три повтора — не независимая выборка архитектур. Сообщения внутри пары зависимы между атаками и целями, поэтому p-value не приводятся. Интервал Вильсона в подсказке ячейки относится только к одной паре моделей при одном seed и предполагает независимость сообщений.

Uchta seed — bo‘linish, lug‘at va o‘qitishni birga o‘zgartiradi; bu mustaqil arxitekturalar tanlovi emas, shuning uchun p-value keltirilmaydi.

03

Что можно заключить

Какие утверждения следуют из сохранённых прогонов, какие остаются гипотезами, а какие не следуют вовсе?

числа — средние по seed 42/43/44 при k = 3, из summary.json

  • Загрузка сводки прогонов…

Xulosalar saqlangan hisoblardan olinadi: tasdiqlangan da’volar, gipotezalar va xulosa qilib bo‘lmaydigan narsalar alohida ko‘rsatilgan.

04

Методика

Что именно проверяется, при каких допущениях и как считается каждое число?

Цель

Проверить, меняет ли допустимая правка спам-сообщения решение фильтра-источника и сохраняется ли эффект на независимо обученном фильтре-цели с другими признаками; измерить, как перенос зависит от направления пары, типа правок и бюджета k.

Maqsad: ruxsat etilgan tahrir manba filtrini aldaydimi va bu ta’sir boshqa belgilarga ega mustaqil filtrga ko‘chadimi — shuni o‘lchash.

Объект, предмет и границы

Объект — три линейных фильтра SMS-спама, обученных на английском корпусе UCI SMS Spam Collection: NB-word (наивный Байес, счётчики слов), LR-word (логистическая регрессия, TF-IDF слов и биграмм), LR-char (логистическая регрессия, TF-IDF символьных 3–5-грамм). Предмет — переносимость атак уклонения (evasion) от источника к цели.

Границы. Атакуются только спам-сообщения тестовой части; атака только заменяет слова или правит буквы внутри слова. Отравление данных, извлечение модели, атаки на приватность и prompt injection здесь не рассматриваются — это другие классы угроз.

Ob’ekt — uchta chiziqli SMS-spam filtri; predmet — hujumning manbadan nishonga ko‘chishi. Faqat test qismidagi spam xabarlar hujumga uchraydi.

Модель угроз

Злоумышленник — отправитель спама; его цель — чтобы фильтр признал сообщение легитимным (ham). Знания: может отправлять варианты сообщения модели-источнику и получать её оценку P(спам); весов и обучающих данных не знает; модель-цель ему недоступна. Возможности: заменить слово по словарю допустимых замен или изменить одну букву в слове; номера телефонов, короткие коды, цены, ссылки и отрицания не трогает; не более k изменённых слов и не более 400 запросов.

Выдача непрерывной оценки — сильное допущение: реальный фильтр обычно сообщает только решение или ничего. Поэтому успех атаки здесь — оценка сверху для такого злоумышленника.

Hujumchi — spam yuboruvchi; u faqat manba modelning P(spam) bahosini ko‘radi, vaznlarni bilmaydi, nishon modelga kira olmaydi.

Математическая постановка

Сообщение x — последовательность слов и разделителей, истинная метка y = 1 (спам). Множество допустимых правок

Ctext(x) = { x′ : x′ получен из x правкой не более k слов; каждая правка — из словаря (атака «слова») или одна символьная операция (атака «символы»); номера, коды, ссылки и отрицания не изменены }найти x′ ∈ Ctext(x): Ps(спам | x′) < 0,5, используя только запросы к Ps

Поиск жадный и не гарантирует оптимума: важность слова i — Δi = Ps(x) − Ps(x без слова i); позиции перебираются по убыванию Δi; на позиции выбирается кандидат с наименьшей Ps, и он принимается, только если Ps уменьшилась. Остановка: Ps < 0,5, k правок, лимит запросов или конец списка позиций. Схема ранжирования близка к TextFooler (Jin et al., 2020), но кандидаты берутся из курируемого словаря, без эмбеддингов и без оценки семантической близости USE; символьные правки — в духе DeepWordBug (Gao et al., 2018). Это не реализации опубликованных алгоритмов.

Qidiruv ochko‘z: so‘zlar o‘chirilganda P(spam) qancha tushishi bo‘yicha tartiblanadi, har pozitsiyada eng kichik P(spam) beradigan nomzod olinadi.

Порядок эксперимента
  1. Корпус (5 574 сообщения) нормализуется (NFC); точные дубликаты после приведения к строчным буквам и схлопывания пробелов удаляются до разбиения: остаётся 5 159 сообщений, пересечение обучающей и тестовой частей — 0.
  2. Для seed 42, 43, 44 — стратифицированное разбиение 75/25 (3 869 / 1 290 сообщений, из них 161 спам в тесте).
  3. Три модели обучаются только на обучающей части с заранее зафиксированными гиперпараметрами; веса экспортируются в float32; браузерный движок обязан воспроизвести вероятности Python с точностью 10⁻⁹ и все метки точно (проверяется тестом).
  4. Для каждого спам-сообщения теста, каждого источника, обеих атак и k ∈ {1, 2, 3, 5}: поиск на источнике (лимит 400 запросов) → независимая проверка checkTextCandidate → решения обеих целей и случайного контроля.
  5. Метрики считаются по J — сообщениям, которые источник и цель до атаки верно отнесли к спаму; все строки сохраняются в файлах прогонов.

Dublikatlar bo‘linishdan oldin olib tashlanadi; uchta seed; modellar faqat o‘qitish qismida o‘qitiladi; har bir spam xabar uchun hujum, tekshiruv va nazorat.

Показатели

J — спам-сообщения, которые и источник, и цель до атаки отнесли к спаму. Внутри J nab: a — ошибся ли источник после атаки, b — ошиблась ли цель.

ошибка цели (T_joint) = (n₀₁ + n₁₁) / |J|; успех на источнике = (n₁₀ + n₁₁) / |J|условный перенос T_cond = n₁₁ / (n₁₀ + n₁₁) — доля успешных на источнике атак, обманувших и цельR — ошибка цели после случайного контроля той же величины; Δ = ошибка цели − R (в процентных пунктах)

Нулевой знаменатель даёт N/A, а не 0. Случай n₀₁ (источник устоял, цель ошиблась) увеличивает ошибку цели, но не является переносом успешной атаки.

T_joint — nishon xatosi; T_cond — manbada muvaffaqiyatli hujumlar ichida nishon ham aldangan ulush; maxraj 0 bo‘lsa — N/A.

Контрольные условия

Для каждого атакованного сообщения строится контроль: столько же допустимых правок, сколько приняла атака, но позиции и кандидаты выбираются случайно (детерминированный генератор с seed, зависящим от пары, бюджета и сообщения) из того же словаря или тех же символьных операций. Контроль показывает, сколько ошибок цели вызывает сам сдвиг словаря без оптимизации по источнику. Он не доказывает устойчивость к произвольным правкам и не заменяет проверку людьми.

Nazorat: hujum qabul qilgan tahrirlar soniga teng tasodifiy ruxsat etilgan tahrirlar; u optimallashtirishsiz lug‘at siljishining ta’sirini ko‘rsatadi.

Ограничения
  • Загрузка…

Cheklovlar: eski inglizcha SMS korpusi, uchta chiziqli model, ma’no saqlanishi faqat qoidalar bilan baholangan, CKA qo‘llanilmaydi.

05

Источники и воспроизведение

Откуда данные, на какие работы опирается метод и как получить те же числа?

Данные

T. A. Almeida, J. M. Gómez Hidalgo. SMS Spam Collection [Dataset]. UCI Machine Learning Repository, 2011. DOI 10.24432/C5CC84. Лицензия CC BY 4.0; корпус приведён без изменений текста, кроме удаления точных дубликатов. Вводная статья: T. A. Almeida, J. M. Gómez Hidalgo, A. Yamakami. Contributions to the study of SMS spam filtering: new collection and results // DocEng 2011. P. 259–262. doi:10.1145/2034691.2034742.

Работы, на которые опирается постановка

  • N. Dalvi, P. Domingos, Mausam, S. Sanghai, D. Verma. Adversarial classification // KDD 2004. P. 99–108. doi:10.1145/1014052.1014066 — спам как игра классификатора и противника.
  • D. Lowd, C. Meek. Good word attacks on statistical spam filters // CEAS 2005 — атаки добавлением «хороших» слов на наивный Байес и фильтр максимальной энтропии.
  • J. Gao, J. Lanchantin, M. L. Soffa, Y. Qi. Black-box generation of adversarial text sequences to evade deep learning classifiers // IEEE Security and Privacy Workshops 2018. doi:10.1109/SPW.2018.00016 — символьные правки (DeepWordBug).
  • J. Ebrahimi, A. Rao, D. Lowd, D. Dou. HotFlip: white-box adversarial examples for text classification // ACL 2018 (Vol. 2). P. 31–36. doi:10.18653/v1/P18-2006 — градиентная замена токенов; здесь не используется, приведена как белый ящик для сравнения.
  • D. Jin, Z. Jin, J. T. Zhou, P. Szolovits. Is BERT really robust? A strong baseline for natural language attack on text classification and entailment // AAAI 2020. Vol. 34, No. 5. P. 8018–8025. doi:10.1609/aaai.v34i05.6311 — TextFooler: ранжирование слов удалением.
  • J. Morris, E. Lifland, J. Y. Yoo, J. Grigsby, D. Jin, Y. Qi. TextAttack: a framework for adversarial attacks, data augmentation, and adversarial training in NLP // EMNLP 2020: System Demonstrations. P. 119–126. doi:10.18653/v1/2020.emnlp-demos.16 — разделение атаки на преобразование, ограничения, цель и поиск.

Метаданные сверены 19.11.2026 по страницам издателей, ACL Anthology, dblp и arXiv. Ссылка на работу не означает, что она подтверждает результаты этой лаборатории.

Файлы и хэши

Загрузка…

Команды

PYTHONUTF8=1 <venv>/python scripts/research/multimodal/train_text.pynode scripts/research/multimodal/run-text.mjsnode scripts/research/multimodal/run-text.mjs --checknode --test tests/mm-text.test.mjs

Первая команда проверяет скачанный архив по SHA-256 и заново обучает модели; повторный запуск даёт побайтно те же файлы моделей. Вторая выполняет все атаки тем же кодом, что и браузер; --check сравнивает пересчёт с сохранёнными файлами.

Ma’lumotlar UCI omboridan (CC BY 4.0); fayllar xeshlari va qayta hisoblash buyruqlari shu yerda.

06

Разбор для преподавателя

Десять шагов от задачи до вывода — каждый показывает живой элемент лаборатории.

Вопросы и ответы

07

Данные текущего состояния

Всё показанное — в машиночитаемом виде.

JSON содержит параметры, исходный и итоговый текст, правки, проверку ограничений, решения и P(спам) обеих моделей, контроль и хэши моделей; CSV — строки сохранённого прогона для выбранных seed, источника, атаки и k по всем 161 спам-сообщению.