Модуль 1 · FGSMатака на модели-источнике, проверка на модели-цели
FGSM-лаборатория
Все числа считаются в вашем браузере по весам чекпоинтов: сдвиньте ε и сравните ответы двух моделей.
Бюджет атаки ε L∞, пиксели в [0,1]
Пара моделей
Пример
Метод и чекпоинты FGSM / PGD-10 · seed
PGD вычисляется в браузере как реальный многошаговый расчёт. В CSV пакета PGD выполнялся со случайным стартом (torch-генератор), поэтому строки CSV для PGD сравнимы лишь приблизительно; по умолчанию здесь старт детерминированный.
Модели не дообучаются и не изменяются: меняется только входное изображение. Для первого прогона чекпоинты сохранены только для seed 42.
Клавиши: [/] — ε на 0,01, R — обратное направление.
Загрузка…
Чистое изображение, атакованное изображение и знаковая разность (8×8, без интерполяции)
Чистое изображение x
После атаки: xadv
Разность Δ = xadv − x
Предсказания до и после атаки
CNN-12
По всей тестовой выборке (450) при этих настройках
Наведите курсор на изображение: координаты пикселя, x, xadv, Δ · клик выбирает пиксель
Как читатьscore, статусы «устояла / обманута», маска J, цвета карты Δ
«score» — максимальное значение softmax; это не калиброванная вероятность. Статусы: «устояла» — предсказание после атаки равно истинной метке; «обманута» — не равно; примеры, где модель ошибается уже на чистом изображении, не входят в J. Карта Δ не обязана быть похожей на цифру: цвет кодирует знак изменения пикселя, а не успех атаки.
Chap raqam — model toza rasmga bergan javob, o‘ng raqam — o‘sha model x_adv ga bergan javob. Haqiqiy metka — datasetdagi yorliq; u modelga bog‘liq emas.
02
Глубже: вся выборка, контроль, пиксели, данные
Что происходит не с одним примером, а со всеми 450 — и чем направленная атака отличается от случайного шума той же амплитуды?
Четыре исхода на J и все 450 примеров
Четыре исхода на J — счётчики и нормы
Расчёт выполняется в Web Worker; при быстром движении ползунка показывается только последний запрос.
- |J| (обе модели верны до атаки)
- –
- источник ошибся на J
- –
- цель ошиблась на J
- –
- обе ошиблись на J
- –
Последний расчёт: —.
Счётчики исходов — нажмите, чтобы отфильтровать галерею ниже
Все 450 тестовых примеров текущего разбиения
Миниатюры — реальные изображения тестовой выборки выбранного seed; значок исхода появляется после расчёта по выборке; рамка — отобранные для демонстрации; ←/→ перемещают фокус.
Контроль: случайные знаки той же амплитуды
Если бы любой шум такой амплитуды ломал модели, перенос нельзя было бы приписать направленности градиента.
x + ε·r, r ∈ {−1, +1}
Тот же бюджет L∞ и тот же клиппинг, но знаки выбраны случайно, без градиента.
- источник на шуме
- –
- цель на шуме
- –
L∞ совпадает с атакой по построению; L2 близка, но не равна (контроль не выравнивает L2). В CSV пакета random_rate при ε = 0,10 — около 1,6 % против 31 % у FGSM. Знаки здесь генерирует детерминированный JS-генератор, а не numpy, поэтому отдельные примеры отличаются от прогона пакета, а доля по выборке сопоставима.
Пиксельный разбор и формула
Карта знаков градиента источника
Нажмите пиксель; стрелки — перемещение.
Формула FGSM (ненаправленная, untargeted)
- x
- чистое изображение, 64 пикселя в [0,1] (целые 0..16, делённые на 16)
- fs
- модель-источник (white-box): известны веса и градиенты
- y
- истинная метка — допущение об информации атакующего
- L
- кросс-энтропия; растёт, когда модель менее уверена в истинном классе
- ∇xL
- градиент потерь по входу: куда сдвинуть каждый пиксель, чтобы ошибка росла
- sign
- только знак: +1, −1 или 0 — поэтому шаг каждого пикселя ровно ±ε
- ε
- бюджет L∞: максимальное изменение любого пикселя
- clip
- возврат в допустимый диапазон [0,1]: у пикселей на границе фактическое изменение меньше ε
Модель-цель ft в формуле отсутствует: её градиенты не используются — в этом смысл переноса (black-box по отношению к цели). PGD повторяет шаг 10 раз с α = 2,5·ε/10 и проекцией на ε-шар вокруг x; это другая атака, не FGSM. Случайный шум ±ε отличается от FGSM только знаками.
FGSM: har pikselni ε ga, lekin yo‘qotish (loss) oshadigan tomonga sur. Gradient faqat manba modeldan; clip natijani [0,1] ga qaytaradi. PGD — xuddi shu qadam 10 marta, ε-sharga proyeksiya bilan.
Ручной эксперимент с пикселями — это не FGSM
Здесь знаки выбираете вы, а не градиент. Выберите пиксель в сетке выше (мышью или стрелками) и задайте ему +ε, −ε или 0. Обе модели считают предсказание по изменённому изображению по-настоящему, но результат нельзя называть атакой FGSM: он лишь показывает, что произвольное изменение той же амплитуды обычно не ломает модель, в отличие от изменения, направленного градиентом.
xmanual = clip[0,1]( x + ε · s ), знаки s заданы вручную
РУЧНОЙ ЭКСПЕРИМЕНТ · не FGSM · градиент не использован
- источник на xmanual
- –
- цель на xmanual
- –
Клавиши в сетке: +, −, 0. Правки сбрасываются при смене примера или набора чекпоинтов; амплитуда следует за текущим ε. Пиксели с ручной правкой обведены в сетке красной (+ε) или синей (−ε) рамкой.
Bu FGSM emas: belgilarni siz tanlaysiz, gradient ishlatilmaydi. Modellar o‘zgartirilgan rasmni haqiqatan hisoblaydi — natija FGSM hujumi deb atalmaydi.
Данные текущего состояния
Всё, что показано выше, в машиночитаемом виде: параметры, хэши чекпоинтов, предсказания и строка CSV пакета для сравнения.