Анализ · Сравнение модальностей
Сравнение модальностей: одинаковые названия метрик, разные модели угроз
Таблица сводит измерения четырёх лабораторий с их знаменателями, бюджетами и провенансом; ранжировать модальности по «безопасности» она не позволяет.
01
Сводка по модальностям при опорном бюджете
Что измерено в каждой лаборатории, на каком числе примеров и с каким контролем?
Загрузка сводок лабораторий…
Каждая строка — одна атака одной модальности при её собственном опорном бюджете. «Среднее [мин…макс]» берётся по всем направленным парам источник → цель и выбранным seed; это описательная сводка по зависимым наблюдениям (одни и те же примеры во всех парах), а не оценка с доверительным интервалом. Знаменатель каждой доли — |J| своей пары; |J| и размер атакуемой выборки приведены в строке.
Har bir qator — bitta modallikning bitta hujumi, o‘zining tayanch byudjetida. Qiymatlar barcha yo‘nalishli juftliklar va seed bo‘yicha o‘rtacha [min…maks]; bu xavfsizlik reytingi emas.
02
Что нельзя сравнивать напрямую
Почему одинаковые названия метрик не делают модальности сопоставимыми?
- Бюджеты в разных единицах. ε = 0,10 в пикселях, ε = 0,01 амплитуды волны, три заменённых слова и стоимость 2 изменённых признаков не лежат на одной шкале: «больше» в одной модальности ничего не значит в другой.
- Разные задачи и метки. Цифры 0–9, спам/не спам, четыре класса синтетических сигналов и мошенничество в синтетических транзакциях — разные пространства меток и разные базовые точности.
- Реальные и синтетические данные. Аудио и таблицы синтетические: их числа описывают поведение моделей на известных правилах генерации, а не защищённость реальных систем.
- Разная сила доказательства. Пилот изображений — 450 тестовых изображений и 12 пар; новые лаборатории — свои размеры выборок и 6 пар. Отдельный пример, показанный в лаборатории, — иллюстрация, а не оценка доли.
- CKA между модальностями. Значения CKA сравнимы только для моделей одной задачи на одних и тех же примерах; общей «шкалы сходства» для разных модальностей нет.
Что сравнивать можно: число примеров, моделей и пар; |J|; долю успеха на источнике, ошибку цели, условный перенос и контроль внутри каждой модальности; чувствительность каждой модели к её собственному бюджету; статус воспроизводимости и провенанс.
Итоговая формулировкаОдинаковые названия метрик — разные модели угроз: ранжировать модальности по безопасности без согласованных задач и бюджетов нельзя.
Byudjetlar turli birliklarda: piksel ε, to‘lqin amplitudasi, so‘z almashtirishlar soni, belgi o‘zgarishlari narxi. Ularni bitta shkalada solishtirib bo‘lmaydi.
03
Допустимые изменения по модальностям
Что именно разрешено атакующему в каждой лаборатории и кто это проверяет?
определения протокола, не результат
| Модальность | Вход | Допустимое множество Cm(x) | Доступ к источнику | Контроль того же бюджета | Проверка |
|---|---|---|---|---|---|
| Изображения | 64 пикселя в [0, 1] | ‖x′ − x‖∞ ≤ ε, x′ ∈ [0, 1]64 | white-box: градиент потерь | случайные знаки ±ε | max|Δ| ≤ ε, клиппинг (nn.js) |
| Текст | SMS-сообщение, токены | до k замен слов из курируемого словаря или до k обфускаций символов; числа, ссылки и отрицания неизменны | black-box: только вероятность спама источника, число запросов ограничено | то же число случайных допустимых правок | checkTextCandidate (text-engine.js) |
| Аудио | 2048 отсчётов, 8 кГц, [−1, 1] | ‖δ‖∞ ≤ ε, SNR(x, δ) ≥ 20 дБ, x + δ ∈ [−1, 1] | white-box: градиент через признаки сигнала | случайные знаки ±ε с той же проекцией | длина, частота, границы, SNR (audio-engine.js) |
| Табличные | строка транзакции | только изменяемые признаки, в допустимом направлении и диапазоне, целые остаются целыми, категории — из словаря, производные поля пересчитываются, стоимость ≤ C | black-box: только оценка мошенничества источника, число запросов ограничено | то же число случайных допустимых изменений | checkRow (tabular-engine.js) |
ILLUSTRATIVE таблица описывает протоколы лабораторий; числа и отказы ограничений — на страницах лабораторий.
04
Направленные матрицы ошибки цели
Повторяется ли асимметрия переноса внутри каждой модальности?
Клетка — среднее по выбранным seed доли ошибок цели на J при опорном бюджете первой атаки модальности; под значением — диапазон по seed. Цвет нормирован отдельно в каждой матрице: сравнивать оттенки разных модальностей нельзя.
05
Классы угроз состязательного машинного обучения и границы этой работы
Какие угрозы реализованы в лабораториях, а какие только описаны?
| Класс | Цель атакующего | Поверхность и возможности | Как измерять | Меры защиты | Статус здесь |
|---|---|---|---|---|---|
| Уклонение (evasion), состязательные примеры | изменить решение обученной модели на этапе применения | вход модели; доступ white-box к источнику или запросы к нему; перенос на модель-цель | успех на источнике, ошибка цели, условный перенос и контроль на J | состязательное обучение, проверка ограничений входа, ансамбли, обнаружение | LIVE + VERIFIED четыре лаборатории |
| Отравление данных и бэкдоры | испортить модель через обучающие данные или встроить триггер | конвейер обучения, данные, сторонние модели | точность на чистых данных, доля срабатываний триггера | происхождение данных, санация, робастное обучение | NOT IMPLEMENTED только описание |
| Извлечение модели | скопировать функциональность или параметры модели | API предсказаний, число запросов | согласие копии с оригиналом при бюджете запросов | лимиты, мониторинг запросов, водяные знаки | NOT IMPLEMENTED сторонние API не атакуются |
| Атаки на приватность (membership inference, инверсия) | узнать о данных обучения | выходы модели, доверие к оценкам | точность/AUC вывода о членстве против базовой линии | дифференциальная приватность, регуляризация | NOT IMPLEMENTED нет согласованной песочницы |
| Внедрение инструкций в LLM и агентов | подменить инструкции языковой модели или агента | промпт, извлекаемые документы, инструменты агента | доля выполненных вредных инструкций в сценариях | разделение привилегий, фильтрация, подтверждение действий | NOT IMPLEMENTED другая постановка, не FGSM по тексту |
Источник терминологии: Vassilev A. et al. NIST AI 100-2 E2025. Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations. Ссылка на таксономию не означает, что NIST проверял или подтверждал формулы и числа этого сайта.
Faqat chetlab o‘tish (evasion) hujumlari amalga oshirilgan; zaharlash, modelni o‘g‘irlash, maxfiylik va prompt injection faqat tavsiflangan.
06
Провенанс и воспроизведение
Какие файлы стоят за каждой строкой и как их проверить?
Каждый файл прогона хранит строки по каждому атакованному примеру; сводки лабораторий и эта таблица пересчитываются из них в браузере, а проверка схемы (NIR_MM.validateRun) сверяет все сохранённые счётчики со строками. SHA-256 всех файлов — в манифесте; хэши пилота — в манифесте пилота.