Модуль 1 · FGSMатака на модели-источнике, проверка на модели-цели

FGSM-лаборатория

Все числа считаются в вашем браузере по весам чекпоинтов: сдвиньте ε и сравните ответы двух моделей.

  • REAL COMPUTATION
  • CSV · VERIFIED PRECOMPUTED

Бюджет атаки ε L∞, пиксели в [0,1]

Пара моделей

Источник — градиент вычисляется здесь (white-box)
Цель — только классифицирует готовое изображение (black-box)

Пример

Отобранные для демонстрации
Метод и чекпоинты FGSM / PGD-10 · seed
Метод атаки

Модели не дообучаются и не изменяются: меняется только входное изображение. Для первого прогона чекпоинты сохранены только для seed 42.

Клавиши: [/] — ε на 0,01, R — обратное направление.

Загрузка…

истинная метка: – …

Чистое изображение, атакованное изображение и знаковая разность (8×8, без интерполяции)

Чистое изображение x

016

После атаки: xadv

Разность Δ = xadv − x

−ε+ε

Предсказания до и после атаки

источник

MLP-96

чистое
–
после атаки
–
цель

CNN-12

чистое
–
после атаки
–

По всей тестовой выборке (450) при этих настройках

–
T_joint — доля ошибок цели на J
–
T_conditional — среди обманувших источник
–
white-box успех на источнике на J
–
random_rate — случайные знаки ±ε на J

Наведите курсор на изображение: координаты пикселя, x, xadv, Δ · клик выбирает пиксель

Как читатьscore, статусы «устояла / обманута», маска J, цвета карты Δ

«score» — максимальное значение softmax; это не калиброванная вероятность. Статусы: «устояла» — предсказание после атаки равно истинной метке; «обманута» — не равно; примеры, где модель ошибается уже на чистом изображении, не входят в J. Карта Δ не обязана быть похожей на цифру: цвет кодирует знак изменения пикселя, а не успех атаки.

Chap raqam — model toza rasmga bergan javob, o‘ng raqam — o‘sha model x_adv ga bergan javob. Haqiqiy metka — datasetdagi yorliq; u modelga bog‘liq emas.

02

Глубже: вся выборка, контроль, пиксели, данные

Что происходит не с одним примером, а со всеми 450 — и чем направленная атака отличается от случайного шума той же амплитуды?

Четыре исхода на J и все 450 примеров

Четыре исхода на J — счётчики и нормы

Расчёт выполняется в Web Worker; при быстром движении ползунка показывается только последний запрос.

|J| (обе модели верны до атаки)
–
источник ошибся на J
–
цель ошиблась на J
–
обе ошиблись на J
–

Последний расчёт: —.

Счётчики исходов — нажмите, чтобы отфильтровать галерею ниже

Все 450 тестовых примеров текущего разбиения

Миниатюры — реальные изображения тестовой выборки выбранного seed; значок исхода появляется после расчёта по выборке; рамка — отобранные для демонстрации; ←/→ перемещают фокус.

Фильтр по исходу (после расчёта по всей выборке)

Контроль: случайные знаки той же амплитуды

Если бы любой шум такой амплитуды ломал модели, перенос нельзя было бы приписать направленности градиента.

x + ε·r, r ∈ {−1, +1}

Тот же бюджет L∞ и тот же клиппинг, но знаки выбраны случайно, без градиента.

источник на шуме
–
цель на шуме
–

L∞ совпадает с атакой по построению; L2 близка, но не равна (контроль не выравнивает L2). В CSV пакета random_rate при ε = 0,10 — около 1,6 % против 31 % у FGSM. Знаки здесь генерирует детерминированный JS-генератор, а не numpy, поэтому отдельные примеры отличаются от прогона пакета, а доля по выборке сопоставима.

Пиксельный разбор и формула

Карта знаков градиента источника

Нажмите пиксель; стрелки — перемещение.

+Δ — значение пикселя увеличено (светлее); −Δ — уменьшено (темнее); 0 — нулевой градиент или клиппинг. Цвет не означает успех атаки.

Формула FGSM (ненаправленная, untargeted)

xadv = clip[0,1]( x + ε · sign( ∇x L( fs(x), y ) ) )
x
чистое изображение, 64 пикселя в [0,1] (целые 0..16, делённые на 16)
fs
модель-источник (white-box): известны веса и градиенты
y
истинная метка — допущение об информации атакующего
L
кросс-энтропия; растёт, когда модель менее уверена в истинном классе
∇xL
градиент потерь по входу: куда сдвинуть каждый пиксель, чтобы ошибка росла
sign
только знак: +1, −1 или 0 — поэтому шаг каждого пикселя ровно ±ε
ε
бюджет L∞: максимальное изменение любого пикселя
clip
возврат в допустимый диапазон [0,1]: у пикселей на границе фактическое изменение меньше ε

Модель-цель ft в формуле отсутствует: её градиенты не используются — в этом смысл переноса (black-box по отношению к цели). PGD повторяет шаг 10 раз с α = 2,5·ε/10 и проекцией на ε-шар вокруг x; это другая атака, не FGSM. Случайный шум ±ε отличается от FGSM только знаками.

FGSM: har pikselni ε ga, lekin yo‘qotish (loss) oshadigan tomonga sur. Gradient faqat manba modeldan; clip natijani [0,1] ga qaytaradi. PGD — xuddi shu qadam 10 marta, ε-sharga proyeksiya bilan.

Ручной эксперимент с пикселями — это не FGSM

Здесь знаки выбираете вы, а не градиент. Выберите пиксель в сетке выше (мышью или стрелками) и задайте ему +ε, −ε или 0. Обе модели считают предсказание по изменённому изображению по-настоящему, но результат нельзя называть атакой FGSM: он лишь показывает, что произвольное изменение той же амплитуды обычно не ломает модель, в отличие от изменения, направленного градиентом.

xmanual = clip[0,1]( x + ε · s ), знаки s заданы вручную

правок нет — изображение совпадает с чистым

РУЧНОЙ ЭКСПЕРИМЕНТ · не FGSM · градиент не использован

источник на xmanual
–
цель на xmanual
–

Клавиши в сетке: +, −, 0. Правки сбрасываются при смене примера или набора чекпоинтов; амплитуда следует за текущим ε. Пиксели с ручной правкой обведены в сетке красной (+ε) или синей (−ε) рамкой.

Bu FGSM emas: belgilarni siz tanlaysiz, gradient ishlatilmaydi. Modellar o‘zgartirilgan rasmni haqiqatan hisoblaydi — natija FGSM hujumi deb atalmaydi.

Данные текущего состояния

Всё, что показано выше, в машиночитаемом виде: параметры, хэши чекпоинтов, предсказания и строка CSV пакета для сравнения.