Слайды рассчитаны на экран 16:9: поверните телефон горизонтально или откройте презентацию на компьютере.

NIR LAB · ADVERSARIAL ML

Исследование влияния сходства признаковых пространств на переносимость состязательных атак между моделями машинного обучения

Предварительная исследовательская работа · 2026

Реальная карта возмущения Δ: FGSM, MLP-96, ε = 0,10

РЕАЛЬНЫЙ РАСЧЁТ · ОТОБРАННЫЙ ПРИМЕР

Атака на одну модель обманывает и другую

Чистое x

истинная метка 5

После FGSM x_adv

ε = 0,10, клиппинг в [0, 1]

Разность Δ

красный +Δ, синий −Δ; цвет — знак, не успех

x_adv = clip( x + ε · sign( ∇x L(f_s(x), y) ) )

Модель-цель в формуле отсутствует: её градиенты не используются

ИСТОЧНИК · MLP-96

5 → 9

обманута: score 0,997 → 0,723

градиент берётся только здесь

ЦЕЛЬ · CNN-12

5 → 9

обманута: score 0,999 → 0,885

получает только готовое изображение

Открыть этот пример в живой лаборатории

Веса чекпоинтов первого прогона, seed 42, позиция 4. Пример отобран для наглядности: это не частота.

2

ПОСТАНОВКА · ГИПОТЕЗА НЕ ДОКАЗАНА

Вопрос: связано ли сходство представлений с переносом

ГИПОТЕЗА H1

Чем выше CKA предпоследнего слоя, тем выше перенос между моделями

АЛЬТЕРНАТИВА H0

После учёта семейства архитектур и уязвимости цели связь отсутствует или неустойчива

ЧТО УЖЕ ИЗВЕСТНО

Kornblith et al., 2019

CKA как мера сходства представлений

Demontis et al., 2019

три фактора переносимости, включая уязвимость цели

Wiedeman, Wang, 2022

декорреляция признаков снижает перенос

Задача этого этапа: корректная воспроизводимая проверка и поиск условий, а не новое открытие

Библиография: запасной слайд с литературой.

3

ВЫПОЛНЕНО · ПРОГОНЫ 29.10.2026 И 05.11.2026

Протокол: атака на источнике, проверка на цели, CKA

ДАННЫЕ

digits 8×8, 1797 изображений, разбиение 1347 / 450; не MNIST

ИСТОЧНИК

FGSM: градиент только здесь, white-box

ЦЕЛЬ

то же изображение; её градиенты не нужны, black-box

ПЕРЕНОС

T_joint: ошибки цели на маске J

АКТИВАЦИИ

те же 450 чистых изображений, предпоследний слой обеих моделей

СХОДСТВО

linear CKA: одно число на пару

СОПОСТАВЛЕНИЕ

ρ Спирмена по 6 парам, только описательно

Модели

MLP-96, MLP-160, CNN-12, CNN-20

Бюджет ε (L∞)

0,05 · 0,10 · 0,15 · 0,20

Контроль

случайные знаки ±ε, та же маска J

Реплики

seed 42, 43, 44; в перезапуске ещё PGD-10

Определения метрик и архитектуры моделей: запасные слайды.

4

ПОЛУЧЕНО · ПЕРЕЗАПУСК, СРЕДНЕЕ ПО 12 ПАРАМ И 3 SEED

Перенос намного сильнее случайного шума

FGSM: T_joint, усы — размах по seed

случайные знаки ±ε

0 %25 %50 %75 %100 %9,2 %0,6 %ε = 0,0531,2 %1,6 %ε = 0,1061,5 %3,4 %ε = 0,1584,0 %7,0 %ε = 0,20

ε = 0,10

31,2 %

против 1,6 % у шума той же амплитуды

ε = 0,20

84,0 %

против 7,0 % у шума той же амплитуды

aggregate_summary.csv, seed_means.csv. Знаменатель на одну ячейку (ε, атака): 15 638 пар «пример × направление».

5

ПОЛУЧЕНО · ПЕРЕЗАПУСК, SEED 42, FGSM, ε = 0,10

Перенос направлен: A → B и B → A дают разные доли

источник ↓
цель →

MLP-96

MLP-160

CNN-12

CNN-20

MLP-96

—

52,1 %

227 / 436

28,1 %

122 / 434

25,7 %

112 / 435

MLP-160

47,7 %

208 / 436

—

28,1 %

123 / 437

25,1 %

110 / 439

CNN-12

34,1 %

148 / 434

34,3 %

150 / 437

—

30,5 %

134 / 439

CNN-20

32,9 %

143 / 435

35,1 %

154 / 439

35,3 %

155 / 439

—

ТА ЖЕ ПАРА, ДРУГОЕ ЧИСЛО

MLP-96 → CNN-12

28,1 %

122 / 434

CNN-12 → MLP-96

34,1 %

148 / 434

СРЕДНЕЕ ПО 3 SEED

CNN → MLP: 31,7 %

MLP → CNN: 22,5 %

CKA симметрична и такую асимметрию объяснить не может

Открыть матрицу в живой лаборатории

rerun_directed_transfer.csv. Строка — источник, столбец — цель; диагональ — самоатака, не входит в перенос.

6

ПОЛУЧЕНО · ПЕРЕЗАПУСК, SEED 42, ПРЕДПОСЛЕДНИЙ СЛОЙ

CKA выше у пар одного семейства

модель A ↓
модель B →

MLP-96

MLP-160

CNN-12

CNN-20

MLP-96

1,000

0,978

0,899

0,925

MLP-160

0,978

1,000

0,894

0,940

CNN-12

0,899

0,894

1,000

0,947

CNN-20

0,925

0,940

0,947

1,000

ОДНО СЕМЕЙСТВО, В РАМКЕ

0,978 и 0,947

MLP↔MLP и CNN↔CNN

РАЗНЫЕ СЕМЕЙСТВА

0,894–0,940

четыре пары MLP↔CNN

CKA сравнивает геометрию активаций на одних и тех же 450 чистых изображениях. Это не точность и не доля общих нейронов.

rerun_feature_cka.csv. Матрица симметрична; диагональ — самоподобие, равное 1.

7

ПОЛУЧЕНО · ОПИСАТЕЛЬНО, БЕЗ P-VALUE

По шести парам связь положительна, но неустойчива

T_joint, среднее двух направлений

одно семейство

разные семейства

20 %30 %40 %50 %0,880,900,920,940,960,98MLP-96↔MLP-160MLP-96↔CNN-12MLP-96↔CNN-20MLP-160↔CNN-12MLP-160↔CNN-20CNN-12↔CNN-20linear CKA, предпоследний слой

ρ СПИРМЕНА, ε = 0,10

набор пар · seed

42

43

44

все 6 пар

0,49

0,60

0,89

без MLP↔MLP, n = 5

0,10

0,30

0,80

разные семейства, n = 4

−0,80

0,80

0,80

MLP-96↔MLP-160 во всех seed первая и по CKA, и по переносу

Линии тренда и p-value нет намеренно: шесть пар из четырёх моделей зависимы

Открыть CKA против переноса в живой лаборатории

Диаграмма: перезапуск, seed 42, FGSM, ε = 0,10. Таблица: correlations_descriptive.csv, столбцы — seed.

8

ВЫВОД ПИЛОТА

Связь «сходство → переносимость»
не отделима от эффекта
семейства архитектур

Гипотеза H1 не подтверждена и не опровергнута

9

ЧТО ОГРАНИЧИВАЕТ ВЫВОД

Ограничения: малый дизайн и нет интервенции

Один датасет

digits 8×8; на MNIST и CIFAR не переносится автоматически

Шесть зависимых пар

из четырёх моделей; p-value не приводятся

Три seed

меняют разбиение, инициализацию и батчи сразу

Узкий диапазон CKA

0,89–0,98 снижает чувствительность

Эффект потолка

при ε = 0,20 различия пар стираются

Нет интервенции

семейство и уязвимость цели действуют вместе; причинность не утверждается

Подробно: раздел ограничений на странице результатов.

10

ПЛАНИРУЕТСЯ · НЕ ВЫПОЛНЕНО

Следующий этап: контролируемый дизайн

Пилот, выполнено

Следующий этап, план

Данные

digits 8×8

MNIST

Модели

4 модели

≥ 6 на семейство, разная регуляризация

Seed

3, меняют всё сразу

≥ 5 при фиксированном разбиении

Сходство

linear CKA, 2 слоя

профиль CKA по всем слоям, linear и RBF

Направленность

косинус входных градиентов

выравнивание градиентов как направленная мера

Статистика

описательный ρ

частные корреляции, перестановочные тесты

ВОПРОС ДЛЯ ОБСУЖДЕНИЯ

Какой датасет и какую меру сходства считать основными?

ВОПРОС ДЛЯ ОБСУЖДЕНИЯ

Приемлем ли отрицательный результат с контролируемым дизайном как часть вклада?

Опционально на следующем этапе: интервенция, обучение с лоссом декорреляции.

11

ПИЛОТНЫЙ ЭКСПЕРИМЕНТ

Итог: что показано и что нет

ПОКАЗАНО

Перенос FGSM и PGD заметно сильнее случайного шума

Пары одного семейства: выше и CKA, и перенос

Перенос направлен

Один перезапуск дал практически те же числа

НЕ ПОКАЗАНО

Что CKA влияет на перенос: интервенции нет

Что связь сохраняется внутри семейства и на других данных

Новый метод или закономерность сверх опубликованных работ

Статистическая значимость

Вывод: связь не отделима от эффекта семейства; следующий шаг — контролируемый дизайн

Спасибо за внимание.

12

ЗАПАСНОЙ СЛАЙД · ОПРЕДЕЛЕНИЯ

Как считаются T_joint и T_conditional

J(s, t)

примеры, верные для обеих моделей до атаки

T_joint

ошибки цели на J, делённые на |J|; источник может устоять

T_conditional

обе ошиблись, делённое на «источник ошибся»; всё на J

random_rate

ошибки цели на шуме ±ε, делённые на |J|

нуль в знаменателе

метрика выводится как N/A, а не 0

MLP-96 → CNN-12

первый прогон, seed 42, ε = 0,10

|J|

434

источник ошибся

248

T_joint

121/434 = 27,9 %

T_conditional

111/248 = 44,8 %

random_rate

1/434 = 0,2 %

обратно, T_joint

150/434 = 34,6 %

prior_directed_transfer.csv. Все числители и знаменатели хранятся как целые числа.

13

ЗАПАСНОЙ СЛАЙД · ВОСПРОИЗВОДИМОСТЬ

Перезапуск дал практически те же числа

ПЕРВЫЙ ПРОГОН, 29.10.2026

Linux, torch 2.10.0+cpu

ПЕРЕЗАПУСК, 05.11.2026

Windows 11, Python 3.14.7, torch 2.15.0+cpu

≤ 0,021

|ΔT_joint| по 72 направленным значениям, в среднем 0,0025

≤ 0,0008

|ΔCKA|

11 из 12

точностей совпали; наибольшая разница: 1 пример из 450

68 из 72

знаменателей |J| совпали; числители: 35 из 72

Ранговые корреляции при ε = 0,10 и 0,20 совпали точно. Это один перезапуск, а не доказательство детерминизма.

replication_summary.csv, replication_accuracy_comparison.csv.

14

ЗАПАСНОЙ СЛАЙД · МОДЕЛИ

Архитектуры четырёх моделей

Модель

Архитектура

Параметров

Предпосл. слой

Верно из 450, seed 42/43/44

MLP-96

64 → 96 → 48 → 10

11 386

48

437 / 433 / 435

MLP-160

64 → 160 → 64 → 10

21 354

64

441 / 437 / 438

CNN-12

conv 12 → conv 24 → pool → 48 → 10

21 706

48

441 / 442 / 437

CNN-20

conv 20 → conv 40 → pool → 64 → 10

49 114

64

442 / 444 / 439

Adam, lr = 0,003, batch 128, 30 эпох, cross-entropy, без dropout и batchnorm. Веса сайта экспортированы из чекпоинтов без изменений; сайт ничего не дообучает.

Чистая точность 0,962–0,987. Точность — отдельная величина: она не равна устойчивости, переносимости или CKA.

rerun_model_accuracy.csv. Полные архитектуры: страница методологии.

15

ЗАПАСНОЙ СЛАЙД · ЧУВСТВИТЕЛЬНОСТЬ

ρ Спирмена по seed, ε и набору пар

В каждой ячейке: все 6 пар · без MLP↔MLP (n = 5) · только разные семейства (n = 4). FGSM, перезапуск, CKA предпоследнего слоя.

ε

seed 42

seed 43

seed 44

0,05

0,26 · −0,30 · −0,80

0,26 · −0,30 · 0,40

0,60 · 0,30 · 0,80

0,10

0,49 · 0,10 · −0,80

0,60 · 0,30 · 0,80

0,89 · 0,80 · 0,80

0,15

0,54 · 0,20 · −0,60

0,60 · 0,30 · 0,80

0,94 · 0,90 · 1,00

0,20

0,37 · −0,10 · −0,60

0,94 · 0,90 · 0,80

0,89 · 0,80 · 0,80

РАННИЙ СЛОЙ, 6 ПАР

ρ = 0,14–0,71

КОСИНУС ГРАДИЕНТОВ, 6 ПАР

ρ = 0,26–0,94

correlations_descriptive.csv. Описательно: 6 зависимых пар из 4 моделей, p-value намеренно не вычисляются.

16

ЗАПАСНОЙ СЛАЙД · ЛИТЕРАТУРА

Литература: девять записей, метаданные сверены

Szegedy et al., ICLR 2014

первое наблюдение переносимости

Goodfellow et al., ICLR 2015

FGSM, «линейное» объяснение переносимости

Papernot et al., препринт, 2016

перенос между семействами, black-box угроза

Madry et al., ICLR 2018

PGD, вторичная атака пилота

Demontis et al., USENIX Security 2019

три фактора переносимости, косинус градиентов

Kornblith et al., ICML 2019

мера сходства CKA

Wiedeman, Wang, Patterns, 2022

ближайшая работа: декорреляция снижает перенос

Hwang et al., ECCV 2024

переносимость как мера сходства архитектур

scikit-learn, load_digits

данные пилота, не MNIST

Метаданные сверены 05.11.2026 по страницам издателей и arXiv. Полные записи: страница литературы.

17

1 / 1