Модальность · Изображения · пилот НИР
Изображения · FGSM, перенос и сходство представлений
Исходный эксперимент работы: четыре классификатора цифр 8×8, атака по градиенту источника и проверка на цели — с моделью угроз и метриками в той же схеме, что у остальных модальностей.
Живой эксперимент: FGSM на источнике → проверка на цели
REAL COMPUTATIONв вашем браузере, по весам чекпоинтов пилота
Бюджет атаки ε L∞, пиксели в [0,1]
Пара моделей чекпоинты prior · seed 42
Источник и цель должны различаться: самоатака — не перенос. Модели не дообучаются; ε меняет только входное изображение.
Пример
Загрузка…
Три изображения 8×8 (настоящее разрешение, без интерполяции): чистое, атакованное, карта разности
Чистое x
После FGSM: xadv
Разность Δ
CNN-12
Наведите курсор на изображение: координаты пикселя, x, xadv, Δ · клик выбирает пиксель
Отобранные примеры prior · seed 42 · позиция (метка)
Как читатьscore, истинная метка, цвета карты Δ
«score» — максимум softmax, а не калиброванная вероятность. Истинная метка — разметка набора данных, она не зависит от предсказаний. Карта Δ не обязана быть похожей на цифру: цвет кодирует знак изменения пикселя (красный +ε, синий −ε, серый 0), а не успех атаки.
Hamma raqamlar brauzeringizda hisoblanadi: ε ni o‘zgartirsangiz, rasm qayta o‘zgartiriladi va ikkala model qaytadan javob beradi. ε = 0 — toza rasm.
01
Три рабочих места модальности
Где проверяется каждый шаг: атака на источнике, перенос на цель, сходство представлений?
- Модуль 1 · атака
FGSM-лаборатория
Все 450 тестовых изображений, четыре модели, ε от 0 до 0,30, FGSM или PGD-10, карта знаков градиента по пикселям, контроль случайного шума и метрики по всей выборке — в одном инструменте.
Hujum ishchi joyi: 450 test rasmi, to‘rt model, ε 0…0,30, FGSM yoki PGD-10, butun tanlama bo‘yicha metrikalar.
Открыть пример 177 при ε = 0,30 - Модуль 2 · перенос
Перенос атак
Направленная матрица T(источник → цель) 4×4 с числителями и знаменателями, асимметрия A→B и B→A и живой пересчёт всех двенадцати пар в браузере.
Ko‘chish matritsasi 4×4: har bir yo‘nalish uchun surat va maxraj bilan.
Открыть матрицу переноса - Модуль 3 · представления
CKA
Linear CKA предпоследнего и раннего слоёв для шести пар моделей, пошаговый расчёт и описательная связь «CKA против переноса» без p-value.
CKA — ikki model ichki vakilliklarining o‘xshashligi; ko‘chish bilan bog‘liqlik faqat tavsifiy.
Открыть CKA
02
Модель угроз и допустимые изменения
Что знает атакующий, что ему разрешено менять и что считается переносом?
- Задача
- классификация рукописных цифр 0–9, изображения 8×8 (scikit-learn digits, 1797 изображений, BSD-3-Clause); 75/25, 1347 / 450
- Модели
- MLP-96, MLP-160, CNN-12, CNN-20 — два семейства, 12 направленных пар источник → цель
- Доступ к источнику
- white-box: веса и градиент функции потерь по входу, истинная метка известна
- Доступ к цели
- black-box: цель получает только готовое изображение xadv; её градиенты и ответы при построении атаки не используются
- Цель атакующего
- ненаправленная: любая неверная цифра на источнике; перенос — ошибка цели на том же xadv
- Допустимое множество
- Cimg(x) = { x′ : ‖x′ − x‖∞ ≤ ε, x′ ∈ [0, 1]64 } — непрерывные пиксели, ограничение по максимуму изменения и диапазону
- Контроль
- случайные знаки ±ε с тем же клиппингом: тот же L∞ и почти тот же L2, без градиента
- Сохранение метки
- допущение для малых ε; при ε = 0,30 (≈ 5 из 16 градаций яркости) изменение заметно глазу, и метку никто не перепроверял
Градиент берётся только у источника fs; цель ft в формуле отсутствует. Ограничение в пикселях несопоставимо с бюджетами других модальностей: в тексте бюджет — число допустимых правок слов, в аудио — амплитуда волны при SNR ≥ 20 дБ, в таблицах — стоимость допустимых изменений признаков (сравнение модальностей).
Manba modeli — white-box (gradient ma’lum), nishon — black-box (faqat tayyor rasmni oladi). Ruxsat etilgan o‘zgarish: har piksel ko‘pi bilan ε ga, qiymat [0,1] oralig‘ida qoladi.
03
Метрики пилота в общей схеме лабораторий
Как числа пилота читаются в тех же определениях, что у текста, аудио и таблиц?
строки transfer.json — CSV пакета исследования без пересчёта
| В пилоте | В общей схеме | Формула на J (обе модели верны до атаки) |
|---|---|---|
| T_joint | ошибка цели (target error) | (n01 + n11) / |J| |
| 1 − T_joint | Qtransfer — доля устоявших решений цели | (n00 + n10) / |J| |
| source_success_rate | успех на источнике | (n10 + n11) / |J| |
| T_conditional | условный перенос Tcond | n11 / (n10 + n11); N/A при нулевом знаменателе |
| random_rate | контроль R (шум ±ε) | ошибка цели на случайном возмущении того же бюджета |
| — | Δ = ошибка цели − R | в процентных пунктах (п.п.) |
nab: первый индекс — ошибка источника, второй — ошибка цели после атаки. Пример n01 (ошиблась только цель) входит в ошибку цели, но не является строгим переносом успешной атаки.
Ошибка цели для всех направленных пар
Клетка — доля примеров из J, на которых цель ошиблась после атаки источника (строка) — цели (столбец); под значением — числитель и знаменатель. Нажмите клетку, чтобы выбрать пару.
Выбранная пара
Bu yerdagi sonlar — tadqiqot paketining CSV qatorlari (qayta hisoblanmagan). Jadval faqat ularni umumiy sxemadagi nomlar bilan ko‘rsatadi: nishon xatosi, shartli ko‘chish, nazorat R.
04
Повторы по seed
Насколько меняются числа выбранной пары между тремя независимыми повторами?
Seed меняет разбиение, инициализацию и порядок батчей одновременно; три повтора — это не выборка архитектур. Строки внутри J зависимы (те же изображения для всех пар), поэтому p-value и доверительные интервалы по числу строк здесь не приводятся.
05
Что можно заключить
Что пилот показывает и что остаётся гипотезой?
Подтверждено измерениями пилота
- FGSM, построенный на источнике, ошибочно классифицируется целью заметно чаще, чем случайный шум того же бюджета (ε = 0,10: 31 % против 1,6 % в среднем по трём seed).
- Перенос направлен: T(A→B) и T(B→A) различаются; MLP как цели уязвимее CNN.
- Пары одного семейства имеют и более высокий CKA, и более высокий перенос.
Не установлено
- что сходство представлений (CKA) причинно определяет перенос: связь не отделима от семейства архитектур;
- что результаты переносятся на другие датасеты, разрешения и современные архитектуры;
- что числа других модальностей подтверждают или опровергают этот вывод — у них другие задачи, бюджеты и модели.
06
Разбор для преподавателя
Десять шагов по живому примеру и ответы на вопросы о реализации.
07
Источники и воспроизведение
Откуда данные, веса и формулы и как проверить каждое число?
- Данные
- scikit-learn digits (BSD-3-Clause), экспорт с SHA-256 в manifest.json
- Веса
- чекпоинты пилота prior seed 42 и перезапуска seed 42/43/44, экспортированные в JSON; паритет браузерного движка с PyTorch — на странице диагностики
- Таблицы
- transfer.json, accuracy.json, aggregates.json — строки CSV пакета исследования без изменений; страница результатов
- Методы
- FGSM — Goodfellow, Shlens, Szegedy (ICLR 2015); PGD — Madry et al. (ICLR 2018); linear CKA — Kornblith et al. (ICML 2019); полный список — литература
- Протокол
- методология: разбиение, обучение, атаки, контроль, метрики и команды воспроизведения