Анализ · Сравнение модальностей

Сравнение модальностей: одинаковые названия метрик, разные модели угроз

Таблица сводит измерения четырёх лабораторий с их знаменателями, бюджетами и провенансом; ранжировать модальности по «безопасности» она не позволяет.

  • VERIFIED RUN
  • ILLUSTRATIVE · схемы

01

Сводка по модальностям при опорном бюджете

Что измерено в каждой лаборатории, на каком числе примеров и с каким контролем?

Модальности
Экспорт

Загрузка сводок лабораторий…

Каждая строка — одна атака одной модальности при её собственном опорном бюджете. «Среднее [мин…макс]» берётся по всем направленным парам источник → цель и выбранным seed; это описательная сводка по зависимым наблюдениям (одни и те же примеры во всех парах), а не оценка с доверительным интервалом. Знаменатель каждой доли — |J| своей пары; |J| и размер атакуемой выборки приведены в строке.

Har bir qator — bitta modallikning bitta hujumi, o‘zining tayanch byudjetida. Qiymatlar barcha yo‘nalishli juftliklar va seed bo‘yicha o‘rtacha [min…maks]; bu xavfsizlik reytingi emas.

02

Что нельзя сравнивать напрямую

Почему одинаковые названия метрик не делают модальности сопоставимыми?

  • Бюджеты в разных единицах. ε = 0,10 в пикселях, ε = 0,01 амплитуды волны, три заменённых слова и стоимость 2 изменённых признаков не лежат на одной шкале: «больше» в одной модальности ничего не значит в другой.
  • Разные задачи и метки. Цифры 0–9, спам/не спам, четыре класса синтетических сигналов и мошенничество в синтетических транзакциях — разные пространства меток и разные базовые точности.
  • Реальные и синтетические данные. Аудио и таблицы синтетические: их числа описывают поведение моделей на известных правилах генерации, а не защищённость реальных систем.
  • Разная сила доказательства. Пилот изображений — 450 тестовых изображений и 12 пар; новые лаборатории — свои размеры выборок и 6 пар. Отдельный пример, показанный в лаборатории, — иллюстрация, а не оценка доли.
  • CKA между модальностями. Значения CKA сравнимы только для моделей одной задачи на одних и тех же примерах; общей «шкалы сходства» для разных модальностей нет.

Что сравнивать можно: число примеров, моделей и пар; |J|; долю успеха на источнике, ошибку цели, условный перенос и контроль внутри каждой модальности; чувствительность каждой модели к её собственному бюджету; статус воспроизводимости и провенанс.

Итоговая формулировкаОдинаковые названия метрик — разные модели угроз: ранжировать модальности по безопасности без согласованных задач и бюджетов нельзя.

Byudjetlar turli birliklarda: piksel ε, to‘lqin amplitudasi, so‘z almashtirishlar soni, belgi o‘zgarishlari narxi. Ularni bitta shkalada solishtirib bo‘lmaydi.

03

Допустимые изменения по модальностям

Что именно разрешено атакующему в каждой лаборатории и кто это проверяет?

определения протокола, не результат

Множества допустимых изменений Cm(x), доступ к моделям и контроль. Каждая лаборатория проверяет кандидата отдельной функцией до того, как он считается атакой.
МодальностьВходДопустимое множество Cm(x)Доступ к источникуКонтроль того же бюджетаПроверка
Изображения64 пикселя в [0, 1]‖x′ − x‖∞ ≤ ε, x′ ∈ [0, 1]64white-box: градиент потерьслучайные знаки ±εmax|Δ| ≤ ε, клиппинг (nn.js)
ТекстSMS-сообщение, токеныдо k замен слов из курируемого словаря или до k обфускаций символов; числа, ссылки и отрицания неизменныblack-box: только вероятность спама источника, число запросов ограниченото же число случайных допустимых правокcheckTextCandidate (text-engine.js)
Аудио2048 отсчётов, 8 кГц, [−1, 1]‖δ‖∞ ≤ ε, SNR(x, δ) ≥ 20 дБ, x + δ ∈ [−1, 1]white-box: градиент через признаки сигналаслучайные знаки ±ε с той же проекциейдлина, частота, границы, SNR (audio-engine.js)
Табличныестрока транзакциитолько изменяемые признаки, в допустимом направлении и диапазоне, целые остаются целыми, категории — из словаря, производные поля пересчитываются, стоимость ≤ Cblack-box: только оценка мошенничества источника, число запросов ограниченото же число случайных допустимых измененийcheckRow (tabular-engine.js)

ILLUSTRATIVE таблица описывает протоколы лабораторий; числа и отказы ограничений — на страницах лабораторий.

04

Направленные матрицы ошибки цели

Повторяется ли асимметрия переноса внутри каждой модальности?

Клетка — среднее по выбранным seed доли ошибок цели на J при опорном бюджете первой атаки модальности; под значением — диапазон по seed. Цвет нормирован отдельно в каждой матрице: сравнивать оттенки разных модальностей нельзя.

05

Классы угроз состязательного машинного обучения и границы этой работы

Какие угрозы реализованы в лабораториях, а какие только описаны?

Терминология — по таксономии NIST AI 100-2 E2025 (окончательная редакция, март 2025). Реализованы только атаки уклонения (evasion); остальные классы описаны для границ работы и не измерялись.
КлассЦель атакующегоПоверхность и возможностиКак измерятьМеры защитыСтатус здесь
Уклонение (evasion), состязательные примерыизменить решение обученной модели на этапе применениявход модели; доступ white-box к источнику или запросы к нему; перенос на модель-цельуспех на источнике, ошибка цели, условный перенос и контроль на Jсостязательное обучение, проверка ограничений входа, ансамбли, обнаружениеLIVE + VERIFIED четыре лаборатории
Отравление данных и бэкдорыиспортить модель через обучающие данные или встроить триггерконвейер обучения, данные, сторонние моделиточность на чистых данных, доля срабатываний триггерапроисхождение данных, санация, робастное обучениеNOT IMPLEMENTED только описание
Извлечение моделископировать функциональность или параметры моделиAPI предсказаний, число запросовсогласие копии с оригиналом при бюджете запросовлимиты, мониторинг запросов, водяные знакиNOT IMPLEMENTED сторонние API не атакуются
Атаки на приватность (membership inference, инверсия)узнать о данных обучениявыходы модели, доверие к оценкамточность/AUC вывода о членстве против базовой линиидифференциальная приватность, регуляризацияNOT IMPLEMENTED нет согласованной песочницы
Внедрение инструкций в LLM и агентовподменить инструкции языковой модели или агентапромпт, извлекаемые документы, инструменты агентадоля выполненных вредных инструкций в сценарияхразделение привилегий, фильтрация, подтверждение действийNOT IMPLEMENTED другая постановка, не FGSM по тексту

Источник терминологии: Vassilev A. et al. NIST AI 100-2 E2025. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations. Ссылка на таксономию не означает, что NIST проверял или подтверждал формулы и числа этого сайта.

Faqat chetlab o‘tish (evasion) hujumlari amalga oshirilgan; zaharlash, modelni o‘g‘irlash, maxfiylik va prompt injection faqat tavsiflangan.

06

Провенанс и воспроизведение

Какие файлы стоят за каждой строкой и как их проверить?

Каждый файл прогона хранит строки по каждому атакованному примеру; сводки лабораторий и эта таблица пересчитываются из них в браузере, а проверка схемы (NIR_MM.validateRun) сверяет все сохранённые счётчики со строками. SHA-256 всех файлов — в манифесте; хэши пилота — в манифесте пилота.