NIR Lab · Adversarial MLНаучно-исследовательская работа · ИТМО · 2026
- предварительная исследовательская работа
- руководитель НИР — Бучаев А. Я.
Исследование влияния сходства признаковых пространств на переносимость состязательных атак между моделями машинного обучения
Вопрос работы: связан ли перенос состязательного примера с одной нейросети на другую со сходством их внутренних представлений — и при каких условиях?
Bir model uchun yasalgan adversarial misol boshqa, mustaqil o‘qitilgan modelni ham aldaydi. Savol: bu ko‘chish ikki modelning ichki vakilliklari o‘xshashligiga bog‘liqmi va qanday shartlarda?
Ключевые измерения пилота CSV пакета
Asosiy son: ε = 0,10 da ko‘chirilgan FGSM nishon modelni 31 % hollarda aldaydi, tasodifiy shovqin — 1,6 %. CKA bilan bog‘liqlik musbat, lekin asosan MLP↔MLP juftligi hisobiga.
Живой эксперимент: FGSM на источнике → проверка на цели
REAL COMPUTATIONв вашем браузере, по весам чекпоинтов пилота
Бюджет атаки ε L∞, пиксели в [0,1]
Пара моделей чекпоинты prior · seed 42
Источник и цель должны различаться: самоатака — не перенос. Модели не дообучаются; ε меняет только входное изображение.
Пример
Загрузка…
Три изображения 8×8 (настоящее разрешение, без интерполяции): чистое, атакованное, карта разности
Чистое x
После FGSM: xadv
Разность Δ
CNN-12
Наведите курсор на изображение: координаты пикселя, x, xadv, Δ · клик выбирает пиксель
Отобранные примеры prior · seed 42 · позиция (метка)
Как читатьscore, истинная метка, цвета карты Δ
«score» — максимум softmax, а не калиброванная вероятность. Истинная метка — разметка набора данных, она не зависит от предсказаний. Карта Δ не обязана быть похожей на цифру: цвет кодирует знак изменения пикселя (красный +ε, синий −ε, серый 0), а не успех атаки.
Hamma raqamlar brauzeringizda hisoblanadi: ε ni o‘zgartirsangiz, rasm qayta o‘zgartiriladi va ikkala model qaytadan javob beradi. ε = 0 — toza rasm.
00
Тот же вопрос на других модальностях
Расширение работы: отдельные лаборатории текста, звука и таблиц с собственными ограничениями, моделями и сохранёнными прогонами.
не входит в измерения пилота; почему модальности нельзя ранжировать
Изображения
пилот НИР: цифры 8×8, четыре модели, FGSM/PGD, CKA
ОткрытьТекст
фильтры SMS-спама: допустимые замены слов и символов
ОткрытьАудио
синтетические сигналы: возмущение формы волны при SNR ≥ 20 дБ
ОткрытьТабличные данные
синтетические транзакции: только допустимые изменения признаков
Открыть
Kengaytma: matn, audio va jadval laboratoriyalari. Ular pilot o‘lchovlariga kirmaydi va mavzu nomini o‘zgartirmaydi.
01
Исследовательский вопрос и рабочая гипотеза
Что именно проверяется и что считалось бы опровержением?
Состязательный пример, построенный для одной нейросети, часто обманывает и другую, независимо обученную.
Вопрос
Связана ли мера сходства представлений двух моделей, вычисленная на чистых данных, с долей успешных переносов состязательных примеров между ними — и при каких условиях (архитектура, слой, бюджет ε, тип атаки) эта связь наблюдается?
Гипотеза H1 (проверяемая, не доказанная)
При прочих равных пары моделей с более высоким CKA предпоследнего слоя демонстрируют более высокую переносимость. Альтернатива H0: после учёта архитектурного семейства и собственной уязвимости модели-цели связь отсутствует или неустойчива.
Почему перенос может быть асимметричным
T(A→B) зависит от свойств цели B — её собственной уязвимости (размера входных градиентов) и от того, насколько градиент источника выровнен с градиентом цели. В пилоте MLP как цели уязвимее CNN, поэтому атаки с CNN переносятся на MLP чаще, чем обратно. Симметричная CKA этого объяснить не может.
Корреляции CKA ↔ перенос в пилоте описательны: шесть зависимых пар из четырёх моделей, один маленький датасет, узкий диапазон CKA (0,89–0,98). Причинное влияние не установлено.
02
Три модуля лаборатории: от пикселей до переносимости
Как одно изображение превращается в измерение переноса и сходства?
- Модуль 1 · FGSM
Изображение → возмущение
Цифра — 64 числа от 0 до 16. FGSM сдвигает каждый пиксель на ε в сторону роста ошибки модели-источника: x_adv = clip(x + ε·sign(∇ₓL)). Градиент берётся только у источника.
Raqam — 64 ta son. FGSM har pikselni manba modelning xatosini oshiradigan tomonga ε ga suradi.
Лаборатория FGSM - Модуль 2 · Перенос
Источник → цель
То же изображение подаётся второй модели, чьи градиенты не использовались. Если и она ошибается — атака перенеслась. Доля таких случаев среди примеров, которые обе модели классифицировали верно до атаки, — метрика T_joint. Перенос направлен: T(A→B) ≠ T(B→A).
Матрица переноса - Модуль 3 · CKA
Сходство представлений
Linear CKA сравнивает геометрию активаций двух моделей на одних и тех же 450 изображениях. CKA симметрична и не является ни точностью, ни долей общих нейронов. В пилоте пары одного семейства имеют и более высокий CKA, и более высокий перенос — связь не отделима от семейства архитектур.
Объяснение CKA
03
С нуля: классификатор, его ошибки и признаковое пространство
Четыре коротких ответа для читателя без подготовки в машинном обучении; формальные определения и формулы — на страницах методологии и лаборатории.
Что делает классификатор
Классификатор — функция, которая получает на вход изображение (здесь — 64 числа, яркости пикселей 8×8) и выдаёт 10 чисел-оценок, по одному на каждую цифру; ответом считается цифра с наибольшей оценкой. Эта функция не задана человеком вручную: её параметры (веса) подобраны на 1347 обучающих примерах так, чтобы ответы совпадали с известными метками.
Klassifikator — 64 piksel yorqinligini olib, 10 ta raqam uchun baho qaytaradigan funksiya; eng katta baho — javob. Uning vaznlari 1347 o‘quv misolda tanlangan.
Почему классификатор ошибается
Модель видела лишь конечный набор примеров и по нему провела границы между классами; вблизи границ она неуверенна (некоторые цифры 8×8 неоднозначны и для человека). Кроме того, оценка складывается из вкладов всех 64 пикселей: небольшие, но согласованно направленные изменения многих пикселей суммируются и могут перевести изображение через границу класса, хотя человек изменений почти не замечает. Именно это использует состязательный пример.
Model chegaralarni chekli misollardan o‘rganadi; chegara yaqinida ishonchsiz. 64 pikselning kichik, lekin bir yo‘nalishdagi o‘zgarishlari yig‘ilib, rasmni boshqa sinfga o‘tkazishi mumkin.
Что такое представление признаков и признаковое пространство
Нейросеть отвечает не сразу: сначала она переводит 64 пикселя в промежуточный вектор чисел — выход скрытого слоя (у MLP-96 это 48 чисел, у CNN-20 — 64). Этот вектор и есть представление признаков: «координаты», в которых модель на самом деле принимает решение. Множество всех таких векторов для всех входов — признаковое пространство модели. У двух независимо обученных моделей эти пространства разные, даже если итоговые ответы совпадают.
Yashirin qatlam chiqishi — belgilar vektori (MLP-96 da 48 son, CNN-20 da 64). Barcha kirishlar uchun shu vektorlar to‘plami — belgi fazosi. Ikki model uchun u turlicha.
Почему сходство представлений могло бы быть связано с переносом — и почему это не гарантировано
Если две модели используют похожие «координаты», то возмущение, которое сдвигает пример через границу класса у одной модели, с большей вероятностью сдвигает его в ту же сторону и у другой: градиенты оказываются согласованными (это выравнивание градиентов — один из трёх факторов переносимости у Demontis и соавторов, 2019). Но мера CKA сравнивает геометрию представлений в целом и не видит, где именно проходят границы классов: две модели могут иметь похожие представления и разные границы, а перенос дополнительно зависит от собственной уязвимости цели. Поэтому высокий CKA — лишь кандидат на объяснение, а не гарантия, и причинную связь пилот не проверяет.
O‘xshash «koordinatalar» — gradientlar mos keladi, buzilish ikkala modelni ham o‘sha tomonga suradi. Lekin CKA sinf chegaralarini ko‘rmaydi; nishonning o‘z zaifligi ham bor. Shuning uchun yuqori CKA — kafolat emas.
04
Пилотный эксперимент коротко
На каких данных, моделях и атаках получены числа этого сайта?
- Данные
- digits 8×8 (scikit-learn), 1797 изображений; не MNIST
- Разбиение
- 75/25, стратифицированное: 1347 / 450
- Модели
- MLP-96 · MLP-160 · CNN-12 · CNN-20 — 4 модели, 6 неупорядоченных пар для CKA, 12 направленных пар для переноса; пары зависимы: каждая модель входит в три пары
- Атаки
- FGSM; PGD-10 в перезапуске
- Бюджеты ε (L∞)
- 0,05 · 0,10 · 0,15 · 0,20
- Мера сходства
- linear CKA
- Seed
- 42 · 43 · 44 (три реплики)
Перенос наблюдался (ε = 0,10: 31 % ошибок цели против 1,6 % у случайного шума); причинное влияние CKA не показано — связь не отделима от семейства архитектур.
05
Ограничения и воспроизводимость
Чего пилот не устанавливает и как проверить каждое число?
подробно — в разделе ограничений и угроз валидности
Чего пилот не устанавливает
- Один датасет 8×8 (64 признака) и четыре малые модели: результаты не переносятся автоматически на MNIST/CIFAR и современные архитектуры.
- Шесть зависимых пар из четырёх моделей и три seed, которые меняют всё сразу: p-value, доверительные интервалы и «значимость» не приводятся.
- Семейство архитектур, точность и собственная уязвимость цели влияют на перенос и на CKA одновременно; интервенционного дизайна в пилоте нет — причинность не утверждается.
- Узкий диапазон CKA (0,89–0,98) и эффект потолка при ε = 0,20 ограничивают чувствительность сравнения пар.
Воспроизводимость и доступ к данным
Каждое число сайта — либо живой расчёт в браузере по весам чекпоинтов, либо строка CSV пакета исследования без изменений; SHA-256 всех публичных файлов записаны в манифесте, паритет браузерного движка с PyTorch проверяется на странице диагностики.
06
Провенанс и статус
Откуда числа и что этот сайт не утверждает?
- Что показывает сайт
- реальный инференс и атаки в браузере по весам пилотных чекпоинтов; таблицы и графики — из CSV пакета исследования; схемы помечены как иллюстрации. Лаборатории текста, аудио и табличных данных (расширение 19.11.2026) считают по своим моделям и показывают свои сохранённые прогоны с хэшами в отдельном манифесте; в числа пилота они не входят
- Ключевые числа
- строки CSV пакета исследования
- Прогоны
- первый прогон 29.10.2026 (Linux, torch 2.10.0+cpu) и перезапуск того же протокола 05.11.2026 на второй машине (Windows 11, Python 3.14.7, torch 2.15.0+cpu); точности совпали в 11 из 12 случаев, |ΔT_joint| ≤ 0,021
- Чекпоинты
- prior seed 42 (4 модели) и перезапуск seed 42/43/44 (12 моделей); SHA-256 каждого файла — в диагностике и в провенанс-футере лаборатории
- Статус работы
- предварительный этап научно-исследовательской работы (ИТМО, 2026); руководитель НИР — Бучаев Абдулхамид Яхьяевич; результаты не рецензированы и не являются научным открытием
- Чего здесь нет
- выдуманных предсказаний, p-value, утверждений о причинности, MNIST (пилот — digits 8×8)