Модальность · Изображения · пилот НИР

Изображения · FGSM, перенос и сходство представлений

Исходный эксперимент работы: четыре классификатора цифр 8×8, атака по градиенту источника и проверка на цели — с моделью угроз и метриками в той же схеме, что у остальных модальностей.

  • LIVE COMPUTATION
  • VERIFIED RUN · CSV пакета

Живой эксперимент: FGSM на источнике → проверка на цели

REAL COMPUTATION

в вашем браузере, по весам чекпоинтов пилота

Бюджет атаки ε L∞, пиксели в [0,1]

Пара моделей чекпоинты prior · seed 42

Источник — на нём вычисляется градиент (white-box)
Цель — только получает готовое изображение (black-box)

Источник и цель должны различаться: самоатака — не перенос. Модели не дообучаются; ε меняет только входное изображение.

Пример

Загрузка…

истинная метка: – …

Три изображения 8×8 (настоящее разрешение, без интерполяции): чистое, атакованное, карта разности

Чистое x

016

После FGSM: xadv

Разность Δ

−ε+ε
источник

MLP-96

чистое
–
после атаки
–
цель

CNN-12

чистое
–
после атаки
–

Наведите курсор на изображение: координаты пикселя, x, xadv, Δ · клик выбирает пиксель

Отобранные примеры prior · seed 42 · позиция (метка)

Как читатьscore, истинная метка, цвета карты Δ

«score» — максимум softmax, а не калиброванная вероятность. Истинная метка — разметка набора данных, она не зависит от предсказаний. Карта Δ не обязана быть похожей на цифру: цвет кодирует знак изменения пикселя (красный +ε, синий −ε, серый 0), а не успех атаки.

Hamma raqamlar brauzeringizda hisoblanadi: ε ni o‘zgartirsangiz, rasm qayta o‘zgartiriladi va ikkala model qaytadan javob beradi. ε = 0 — toza rasm.

01

Три рабочих места модальности

Где проверяется каждый шаг: атака на источнике, перенос на цель, сходство представлений?

  1. Модуль 1 · атака

    FGSM-лаборатория

    Все 450 тестовых изображений, четыре модели, ε от 0 до 0,30, FGSM или PGD-10, карта знаков градиента по пикселям, контроль случайного шума и метрики по всей выборке — в одном инструменте.

    Hujum ishchi joyi: 450 test rasmi, to‘rt model, ε 0…0,30, FGSM yoki PGD-10, butun tanlama bo‘yicha metrikalar.

    Открыть пример 177 при ε = 0,30
  2. Модуль 2 · перенос

    Перенос атак

    Направленная матрица T(источник → цель) 4×4 с числителями и знаменателями, асимметрия A→B и B→A и живой пересчёт всех двенадцати пар в браузере.

    Ko‘chish matritsasi 4×4: har bir yo‘nalish uchun surat va maxraj bilan.

    Открыть матрицу переноса
  3. Модуль 3 · представления

    CKA

    Linear CKA предпоследнего и раннего слоёв для шести пар моделей, пошаговый расчёт и описательная связь «CKA против переноса» без p-value.

    CKA — ikki model ichki vakilliklarining o‘xshashligi; ko‘chish bilan bog‘liqlik faqat tavsifiy.

    Открыть CKA

02

Модель угроз и допустимые изменения

Что знает атакующий, что ему разрешено менять и что считается переносом?

Задача
классификация рукописных цифр 0–9, изображения 8×8 (scikit-learn digits, 1797 изображений, BSD-3-Clause); 75/25, 1347 / 450
Модели
MLP-96, MLP-160, CNN-12, CNN-20 — два семейства, 12 направленных пар источник → цель
Доступ к источнику
white-box: веса и градиент функции потерь по входу, истинная метка известна
Доступ к цели
black-box: цель получает только готовое изображение xadv; её градиенты и ответы при построении атаки не используются
Цель атакующего
ненаправленная: любая неверная цифра на источнике; перенос — ошибка цели на том же xadv
Допустимое множество
Cimg(x) = { x′ : ‖x′ − x‖∞ ≤ ε, x′ ∈ [0, 1]64 } — непрерывные пиксели, ограничение по максимуму изменения и диапазону
Контроль
случайные знаки ±ε с тем же клиппингом: тот же L∞ и почти тот же L2, без градиента
Сохранение метки
допущение для малых ε; при ε = 0,30 (≈ 5 из 16 градаций яркости) изменение заметно глазу, и метку никто не перепроверял
FGSM: xadv = clip[0,1]( x + ε · sign ∇x L( fs(x), y ) )PGD-10: x(k+1) = ΠC(x)( x(k) + α · sign ∇x L( fs(x(k)), y ) ), α = 2,5·ε/10

Градиент берётся только у источника fs; цель ft в формуле отсутствует. Ограничение в пикселях несопоставимо с бюджетами других модальностей: в тексте бюджет — число допустимых правок слов, в аудио — амплитуда волны при SNR ≥ 20 дБ, в таблицах — стоимость допустимых изменений признаков (сравнение модальностей).

Manba modeli — white-box (gradient ma’lum), nishon — black-box (faqat tayyor rasmni oladi). Ruxsat etilgan o‘zgarish: har piksel ko‘pi bilan ε ga, qiymat [0,1] oralig‘ida qoladi.

03

Метрики пилота в общей схеме лабораторий

Как числа пилота читаются в тех же определениях, что у текста, аудио и таблиц?

строки transfer.json — CSV пакета исследования без пересчёта

Соответствие названий: определения пилота не меняются, общая схема только переименовывает и дополняет их.
В пилотеВ общей схемеФормула на J (обе модели верны до атаки)
T_jointошибка цели (target error)(n01 + n11) / |J|
1 − T_jointQtransfer — доля устоявших решений цели(n00 + n10) / |J|
source_success_rateуспех на источнике(n10 + n11) / |J|
T_conditionalусловный перенос Tcondn11 / (n10 + n11); N/A при нулевом знаменателе
random_rateконтроль R (шум ±ε)ошибка цели на случайном возмущении того же бюджета
—Δ = ошибка цели − Rв процентных пунктах (п.п.)

nab: первый индекс — ошибка источника, второй — ошибка цели после атаки. Пример n01 (ошиблась только цель) входит в ошибку цели, но не является строгим переносом успешной атаки.

Рис. 1

Ошибка цели для всех направленных пар

Клетка — доля примеров из J, на которых цель ошиблась после атаки источника (строка) — цели (столбец); под значением — числитель и знаменатель. Нажмите клетку, чтобы выбрать пару.

Выбранная пара

Bu yerdagi sonlar — tadqiqot paketining CSV qatorlari (qayta hisoblanmagan). Jadval faqat ularni umumiy sxemadagi nomlar bilan ko‘rsatadi: nishon xatosi, shartli ko‘chish, nazorat R.

04

Повторы по seed

Насколько меняются числа выбранной пары между тремя независимыми повторами?

Seed меняет разбиение, инициализацию и порядок батчей одновременно; три повтора — это не выборка архитектур. Строки внутри J зависимы (те же изображения для всех пар), поэтому p-value и доверительные интервалы по числу строк здесь не приводятся.

05

Что можно заключить

Что пилот показывает и что остаётся гипотезой?

Подтверждено измерениями пилота

  • FGSM, построенный на источнике, ошибочно классифицируется целью заметно чаще, чем случайный шум того же бюджета (ε = 0,10: 31 % против 1,6 % в среднем по трём seed).
  • Перенос направлен: T(A→B) и T(B→A) различаются; MLP как цели уязвимее CNN.
  • Пары одного семейства имеют и более высокий CKA, и более высокий перенос.

Не установлено

  • что сходство представлений (CKA) причинно определяет перенос: связь не отделима от семейства архитектур;
  • что результаты переносятся на другие датасеты, разрешения и современные архитектуры;
  • что числа других модальностей подтверждают или опровергают этот вывод — у них другие задачи, бюджеты и модели.

06

Разбор для преподавателя

Десять шагов по живому примеру и ответы на вопросы о реализации.

07

Источники и воспроизведение

Откуда данные, веса и формулы и как проверить каждое число?

Данные
scikit-learn digits (BSD-3-Clause), экспорт с SHA-256 в manifest.json
Веса
чекпоинты пилота prior seed 42 и перезапуска seed 42/43/44, экспортированные в JSON; паритет браузерного движка с PyTorch — на странице диагностики
Таблицы
transfer.json, accuracy.json, aggregates.json — строки CSV пакета исследования без изменений; страница результатов
Методы
FGSM — Goodfellow, Shlens, Szegedy (ICLR 2015); PGD — Madry et al. (ICLR 2018); linear CKA — Kornblith et al. (ICML 2019); полный список — литература
Протокол
методология: разбиение, обучение, атаки, контроль, метрики и команды воспроизведения