NIR Lab · Adversarial MLНаучно-исследовательская работа · ИТМО · 2026

  • предварительная исследовательская работа
  • руководитель НИР — Бучаев А. Я.

Исследование влияния сходства признаковых пространств на переносимость состязательных атак между моделями машинного обучения

Вопрос работы: связан ли перенос состязательного примера с одной нейросети на другую со сходством их внутренних представлений — и при каких условиях?

Bir model uchun yasalgan adversarial misol boshqa, mustaqil o‘qitilgan modelni ham aldaydi. Savol: bu ko‘chish ikki modelning ichki vakilliklari o‘xshashligiga bog‘liqmi va qanday shartlarda?

Ключевые измерения пилота CSV пакета

загрузка значений из данных пакета…

Asosiy son: ε = 0,10 da ko‘chirilgan FGSM nishon modelni 31 % hollarda aldaydi, tasodifiy shovqin — 1,6 %. CKA bilan bog‘liqlik musbat, lekin asosan MLP↔MLP juftligi hisobiga.

Живой эксперимент: FGSM на источнике → проверка на цели

REAL COMPUTATION

в вашем браузере, по весам чекпоинтов пилота

Бюджет атаки ε L∞, пиксели в [0,1]

Пара моделей чекпоинты prior · seed 42

Источник — на нём вычисляется градиент (white-box)
Цель — только получает готовое изображение (black-box)

Источник и цель должны различаться: самоатака — не перенос. Модели не дообучаются; ε меняет только входное изображение.

Пример

Загрузка…

истинная метка: – …

Три изображения 8×8 (настоящее разрешение, без интерполяции): чистое, атакованное, карта разности

Чистое x

016

После FGSM: xadv

Разность Δ

−ε+ε
источник

MLP-96

чистое
–
после атаки
–
цель

CNN-12

чистое
–
после атаки
–

Наведите курсор на изображение: координаты пикселя, x, xadv, Δ · клик выбирает пиксель

Отобранные примеры prior · seed 42 · позиция (метка)

Как читатьscore, истинная метка, цвета карты Δ

«score» — максимум softmax, а не калиброванная вероятность. Истинная метка — разметка набора данных, она не зависит от предсказаний. Карта Δ не обязана быть похожей на цифру: цвет кодирует знак изменения пикселя (красный +ε, синий −ε, серый 0), а не успех атаки.

Hamma raqamlar brauzeringizda hisoblanadi: ε ni o‘zgartirsangiz, rasm qayta o‘zgartiriladi va ikkala model qaytadan javob beradi. ε = 0 — toza rasm.

00

Тот же вопрос на других модальностях

Расширение работы: отдельные лаборатории текста, звука и таблиц с собственными ограничениями, моделями и сохранёнными прогонами.

не входит в измерения пилота; почему модальности нельзя ранжировать

  • Изображения

    пилот НИР: цифры 8×8, четыре модели, FGSM/PGD, CKA

    Открыть
  • Текст

    фильтры SMS-спама: допустимые замены слов и символов

    Открыть
  • Аудио

    синтетические сигналы: возмущение формы волны при SNR ≥ 20 дБ

    Открыть
  • Табличные данные

    синтетические транзакции: только допустимые изменения признаков

    Открыть

Kengaytma: matn, audio va jadval laboratoriyalari. Ular pilot o‘lchovlariga kirmaydi va mavzu nomini o‘zgartirmaydi.

01

Исследовательский вопрос и рабочая гипотеза

Что именно проверяется и что считалось бы опровержением?

Состязательный пример, построенный для одной нейросети, часто обманывает и другую, независимо обученную.

Вопрос

Связана ли мера сходства представлений двух моделей, вычисленная на чистых данных, с долей успешных переносов состязательных примеров между ними — и при каких условиях (архитектура, слой, бюджет ε, тип атаки) эта связь наблюдается?

Гипотеза H1 (проверяемая, не доказанная)

При прочих равных пары моделей с более высоким CKA предпоследнего слоя демонстрируют более высокую переносимость. Альтернатива H0: после учёта архитектурного семейства и собственной уязвимости модели-цели связь отсутствует или неустойчива.

Почему перенос может быть асимметричным

T(A→B) зависит от свойств цели B — её собственной уязвимости (размера входных градиентов) и от того, насколько градиент источника выровнен с градиентом цели. В пилоте MLP как цели уязвимее CNN, поэтому атаки с CNN переносятся на MLP чаще, чем обратно. Симметричная CKA этого объяснить не может.

Честное ограничение

Корреляции CKA ↔ перенос в пилоте описательны: шесть зависимых пар из четырёх моделей, один маленький датасет, узкий диапазон CKA (0,89–0,98). Причинное влияние не установлено.

02

Три модуля лаборатории: от пикселей до переносимости

Как одно изображение превращается в измерение переноса и сходства?

  1. Модуль 1 · FGSM

    Изображение → возмущение

    Цифра — 64 числа от 0 до 16. FGSM сдвигает каждый пиксель на ε в сторону роста ошибки модели-источника: x_adv = clip(x + ε·sign(∇ₓL)). Градиент берётся только у источника.

    Raqam — 64 ta son. FGSM har pikselni manba modelning xatosini oshiradigan tomonga ε ga suradi.

    Лаборатория FGSM
  2. Модуль 2 · Перенос

    Источник → цель

    То же изображение подаётся второй модели, чьи градиенты не использовались. Если и она ошибается — атака перенеслась. Доля таких случаев среди примеров, которые обе модели классифицировали верно до атаки, — метрика T_joint. Перенос направлен: T(A→B) ≠ T(B→A).

    Матрица переноса
  3. Модуль 3 · CKA

    Сходство представлений

    Linear CKA сравнивает геометрию активаций двух моделей на одних и тех же 450 изображениях. CKA симметрична и не является ни точностью, ни долей общих нейронов. В пилоте пары одного семейства имеют и более высокий CKA, и более высокий перенос — связь не отделима от семейства архитектур.

    Объяснение CKA

03

С нуля: классификатор, его ошибки и признаковое пространство

Четыре коротких ответа для читателя без подготовки в машинном обучении; формальные определения и формулы — на страницах методологии и лаборатории.

Что делает классификатор

Классификатор — функция, которая получает на вход изображение (здесь — 64 числа, яркости пикселей 8×8) и выдаёт 10 чисел-оценок, по одному на каждую цифру; ответом считается цифра с наибольшей оценкой. Эта функция не задана человеком вручную: её параметры (веса) подобраны на 1347 обучающих примерах так, чтобы ответы совпадали с известными метками.

Klassifikator — 64 piksel yorqinligini olib, 10 ta raqam uchun baho qaytaradigan funksiya; eng katta baho — javob. Uning vaznlari 1347 o‘quv misolda tanlangan.

Почему классификатор ошибается

Модель видела лишь конечный набор примеров и по нему провела границы между классами; вблизи границ она неуверенна (некоторые цифры 8×8 неоднозначны и для человека). Кроме того, оценка складывается из вкладов всех 64 пикселей: небольшие, но согласованно направленные изменения многих пикселей суммируются и могут перевести изображение через границу класса, хотя человек изменений почти не замечает. Именно это использует состязательный пример.

Model chegaralarni chekli misollardan o‘rganadi; chegara yaqinida ishonchsiz. 64 pikselning kichik, lekin bir yo‘nalishdagi o‘zgarishlari yig‘ilib, rasmni boshqa sinfga o‘tkazishi mumkin.

Что такое представление признаков и признаковое пространство

Нейросеть отвечает не сразу: сначала она переводит 64 пикселя в промежуточный вектор чисел — выход скрытого слоя (у MLP-96 это 48 чисел, у CNN-20 — 64). Этот вектор и есть представление признаков: «координаты», в которых модель на самом деле принимает решение. Множество всех таких векторов для всех входов — признаковое пространство модели. У двух независимо обученных моделей эти пространства разные, даже если итоговые ответы совпадают.

Yashirin qatlam chiqishi — belgilar vektori (MLP-96 da 48 son, CNN-20 da 64). Barcha kirishlar uchun shu vektorlar to‘plami — belgi fazosi. Ikki model uchun u turlicha.

Почему сходство представлений могло бы быть связано с переносом — и почему это не гарантировано

Если две модели используют похожие «координаты», то возмущение, которое сдвигает пример через границу класса у одной модели, с большей вероятностью сдвигает его в ту же сторону и у другой: градиенты оказываются согласованными (это выравнивание градиентов — один из трёх факторов переносимости у Demontis и соавторов, 2019). Но мера CKA сравнивает геометрию представлений в целом и не видит, где именно проходят границы классов: две модели могут иметь похожие представления и разные границы, а перенос дополнительно зависит от собственной уязвимости цели. Поэтому высокий CKA — лишь кандидат на объяснение, а не гарантия, и причинную связь пилот не проверяет.

O‘xshash «koordinatalar» — gradientlar mos keladi, buzilish ikkala modelni ham o‘sha tomonga suradi. Lekin CKA sinf chegaralarini ko‘rmaydi; nishonning o‘z zaifligi ham bor. Shuning uchun yuqori CKA — kafolat emas.

04

Пилотный эксперимент коротко

На каких данных, моделях и атаках получены числа этого сайта?

Данные
digits 8×8 (scikit-learn), 1797 изображений; не MNIST
Разбиение
75/25, стратифицированное: 1347 / 450
Модели
MLP-96 · MLP-160 · CNN-12 · CNN-20 — 4 модели, 6 неупорядоченных пар для CKA, 12 направленных пар для переноса; пары зависимы: каждая модель входит в три пары
Атаки
FGSM; PGD-10 в перезапуске
Бюджеты ε (L∞)
0,05 · 0,10 · 0,15 · 0,20
Мера сходства
linear CKA
Seed
42 · 43 · 44 (три реплики)
Итог пилота одной фразой

Перенос наблюдался (ε = 0,10: 31 % ошибок цели против 1,6 % у случайного шума); причинное влияние CKA не показано — связь не отделима от семейства архитектур.

05

Ограничения и воспроизводимость

Чего пилот не устанавливает и как проверить каждое число?

подробно — в разделе ограничений и угроз валидности

Чего пилот не устанавливает

  • Один датасет 8×8 (64 признака) и четыре малые модели: результаты не переносятся автоматически на MNIST/CIFAR и современные архитектуры.
  • Шесть зависимых пар из четырёх моделей и три seed, которые меняют всё сразу: p-value, доверительные интервалы и «значимость» не приводятся.
  • Семейство архитектур, точность и собственная уязвимость цели влияют на перенос и на CKA одновременно; интервенционного дизайна в пилоте нет — причинность не утверждается.
  • Узкий диапазон CKA (0,89–0,98) и эффект потолка при ε = 0,20 ограничивают чувствительность сравнения пар.

Воспроизводимость и доступ к данным

Каждое число сайта — либо живой расчёт в браузере по весам чекпоинтов, либо строка CSV пакета исследования без изменений; SHA-256 всех публичных файлов записаны в манифесте, паритет браузерного движка с PyTorch проверяется на странице диагностики.

06

Провенанс и статус

Откуда числа и что этот сайт не утверждает?

Что показывает сайт
реальный инференс и атаки в браузере по весам пилотных чекпоинтов; таблицы и графики — из CSV пакета исследования; схемы помечены как иллюстрации. Лаборатории текста, аудио и табличных данных (расширение 19.11.2026) считают по своим моделям и показывают свои сохранённые прогоны с хэшами в отдельном манифесте; в числа пилота они не входят
Ключевые числа
строки CSV пакета исследования
Прогоны
первый прогон 29.10.2026 (Linux, torch 2.10.0+cpu) и перезапуск того же протокола 05.11.2026 на второй машине (Windows 11, Python 3.14.7, torch 2.15.0+cpu); точности совпали в 11 из 12 случаев, |ΔT_joint| ≤ 0,021
Чекпоинты
prior seed 42 (4 модели) и перезапуск seed 42/43/44 (12 моделей); SHA-256 каждого файла — в диагностике и в провенанс-футере лаборатории
Статус работы
предварительный этап научно-исследовательской работы (ИТМО, 2026); руководитель НИР — Бучаев Абдулхамид Яхьяевич; результаты не рецензированы и не являются научным открытием
Чего здесь нет
выдуманных предсказаний, p-value, утверждений о причинности, MNIST (пилот — digits 8×8)