Отчёт пилотапервый прогон 29.10.2026 · перезапуск 05.11.2026
Результаты пилота: что измерено и что из этого не следует
Пять наблюдений, их ограничения и данные, на которых они стоят.
Все числа — строки results/verified_derived/*.csv и key_numbers.json пакета исследования. Метки: [prior] — первый прогон 29.10.2026 (Linux, torch 2.10.0+cpu), [rerun] — перезапуск того же протокола 05.11.2026 на второй машине (Windows 11, torch 2.15.0+cpu). Эпистемический статус утверждений: наблюдение, интерпретация, гипотеза.
Главные выводы
- 01
Перенос существует и растёт с ε быстрее, чем ошибка от случайного шума
Перенесённые FGSM-примеры вызывают у модели-цели во много раз больше ошибок, чем случайное возмущение той же L∞-амплитуды; при ε = 0,20 — 84,0 % против 7,0 %.
31,2 %против 1,6 % у шума, ε = 0,10
- 02
Перенос направлен
При ε = 0,10 атаки с CNN переносятся на MLP чаще, чем с MLP на CNN: MLP как цели уязвимее (38,1 % против 24,3 % у CNN).
31,7 / 22,5 %CNN → MLP против MLP → CNN
- 03
Семейство архитектур — вмешивающийся фактор
Пары одного семейства имеют и более высокий CKA, и более высокий перенос (39,3 % против 27,1 %); пара MLP-96↔MLP-160 во всех seed первая по обоим.
0,957 / 0,912CKA: одно семейство против разных
- 04
Связь CKA ↔ перенос положительна, нестабильна, описательна
ρ Спирмена положителен во всех шести ячейках seed × ε, но почти целиком определяется парой MLP↔MLP; среди четырёх пар разных семейств знак нестабилен. p-value не вычисляются.
0,49–0,89ρ по трём seed, ε = 0,10
- 05
Перезапуск дал практически те же числа
Тот же протокол на другой машине и версии PyTorch (2.10 → 2.15): точности совпали в 11 из 12 случаев, |ΔCKA| ≤ 0,0008. Это один перезапуск, а не доказательство детерминизма.
≤ 0,021наибольшая |ΔT_joint| между прогонами
Ключевые числа строки CSV пакета
01
Перенос существует и растёт с ε быстрее, чем ошибка от случайного шума
Наблюдение. Перенесённые FGSM-примеры вызывают у модели-цели во много раз больше ошибок, чем случайное возмущение той же L∞-амплитуды: при ε = 0,10 — 31,2 % против 1,6 %; при ε = 0,20 — 84,0 % против 7,0 % (среднее по 12 направленным парам и 3 seed, [rerun]; [prior] даёт 31,2 % / 83,7 %). PGD-10 даёт систематически больший перенос (на 0,2–3,7 п.п.) при той же качественной картине. Суммарный знаменатель на одну ячейку (ε, атака) — 15 638 пар «пример × направление»; |J| от 429 до 441.
ε = 0,10 da ko‘chirilgan FGSM nishonni 31,2 % hollarda aldaydi, tasodifiy ±ε shovqin — 1,6 %. ε = 0,20 da — 84,0 % vs 7,0 %.
Реализованные нормы FGSM: средний L∞ = ε (клиппинг снижает его лишь на отдельных пикселях), средняя L2 ≈ 0,67 при ε = 0,10; изменяется ≈ 90 % из 64 пикселей. ε = 0,20 — заметное возмущение (3,2 градации из 16); термин «незаметное» в этой работе не используется.
02
Перенос направлен
Наблюдение. При ε = 0,10 атаки с CNN переносятся на MLP чаще (31,7 %), чем с MLP на CNN (22,5 %); MLP как цели уязвимее (38,1 % против 24,3 % у CNN), а как источники FGSM успешнее в white-box (59,4 % против 38,5 %). При ε = 0,20 асимметрия сглаживается (80,0 % против 81,8 %). CKA — одно число на пару — направленность объяснить не может.
03
Семейство архитектур — вмешивающийся фактор (конфаундер)
Наблюдение + интерпретация. Пары одного семейства имеют и более высокий CKA (0,957 против 0,912 при ε = 0,10, [rerun]), и более высокий перенос (39,3 % против 27,1 %). Пара MLP-96↔MLP-160 во всех seed первая и по CKA (0,968–0,981), и по переносу (49–53 % при ε = 0,10). Пара CNN-12↔CNN-20 имеет второй по величине CKA, но перенос на уровне кросс-архитектурных пар — аргумент против простой монотонной связи.
Направленная матрица T_joint · перезапуск, seed 42, FGSM, ε = 0,10
Матрица строится из transfer.json после загрузки страницы.
Матрица linear CKA (предпоследний слой) · перезапуск, seed 42
Матрица строится из cka.json после загрузки страницы.
Слева: строка — источник, столбец — цель; под процентом числитель / знаменатель |J|; диагональ — самоатака. Справа: симметричная матрица, шкала цвета 0,80–1,00. Обе — VERIFIED PRECOMPUTED EXPERIMENT (rerun_directed_transfer.csv, rerun_feature_cka.csv); интерактивные версии с фильтрами — на страницах переноса и CKA.
04
Корреляция CKA ↔ перенос: положительна, нестабильна, описательна
Наблюдение. ρ Спирмена между CKA предпоследнего слоя и средней переносимостью пары положителен во всех 6 ячейках (seed × ε), но нестабилен: 0,49 / 0,60 / 0,89 (ε = 0,10) и 0,37 / 0,94 / 0,89 (ε = 0,20); [prior] и [rerun] совпадают точно. Без пары MLP↔MLP (n = 5): 0,1 / 0,3 / 0,8 и −0,1 / 0,9 / 0,8; только кросс-архитектурные пары (n = 4): −0,8 / 0,8 / 0,8 и −0,6 / 0,8 / 0,8. Вывод пилота: наблюдаемая связь «сходство → переносимость» не отделима от эффекта архитектурного семейства; H1 не подтверждена и не опровергнута.
Наблюдение. Чувствительность к слою и мере: по «раннему» слою ρ = 0,14–0,71; косинус входных градиентов даёт ρ = 0,26–0,94 и ту же картину доминирования пары MLP↔MLP (косинус 0,86 против 0,56–0,70 у остальных).
Диаграмма «CKA против переноса» (перезапуск, seed 42, FGSM, ε = 0,10) строится после загрузки страницы; таблица значений — на странице CKA.
Шесть пар образованы четырьмя моделями и зависимы; три seed меняют одновременно разбиение, инициализацию и порядок батчей и не являются независимыми повторениями; при n = 6 множество возможных значений ρ дискретно и мало. p-value создавали бы ложную точность.
05
Воспроизводимость: первый прогон → перезапуск
Наблюдение. Тот же протокол на другой машине и версии PyTorch (2.10 → 2.15) дал практически те же числа: точности совпали в 11 из 12 случаев (CNN-20, seed 44: 439 вместо 440 верных из 450); |ΔCKA| ≤ 0,0008; направленные доли переноса отличаются не более чем на 0,021 (в среднем 0,0025); ранговые корреляции при ε = 0,10 и 0,20 совпали точно. Прежние чекпоинты seed 42, загруженные в новой среде, дают ровно 437/441/441/442 верных.
06
Чистая точность моделей
Диапазон 0,962–0,987 на 450 тестовых примерах. Точность — отдельная величина: она не равна устойчивости, переносимости или CKA. Маска J частично выравнивает модели по точности, но точность и собственная уязвимость остаются вмешивающимися факторами (конфаундерами).
07
Что показано, а что нет
Где кончается то, что пилот может утверждать?
Показано в пилоте
- FGSM/PGD-примеры переносятся между малыми моделями на digits существенно лучше случайного шума.
- Пары одного семейства имеют и более высокий CKA, и более высокую переносимость.
- Переносимость направлена.
- Перезапуск на другой машине и версии PyTorch (2.10 → 2.15) дал те же знаменатели |J| в 68 из 72 направленных ячеек и те же числители в 35 из 72; наибольшее расхождение T_joint — 0,021, CKA — 0,0008; ранговые корреляции совпали точно. Это один перезапуск, а не доказательство детерминизма.
Не показано
- Что CKA влияет на переносимость (нет интервенции).
- Что связь сохраняется внутри одного семейства или на других данных.
- Какой-либо новый метод или закономерность за пределами опубликованных работ (Szegedy 2014; Papernot 2016; Demontis 2019; Wiedeman & Wang 2022; Hwang 2024).
- Статистическая значимость.
Следующие шаги (план, не выполнено)
MNIST, ≥ 6 моделей на семейство с варьированием регуляризации, ≥ 5 seed инициализации при фиксированном разбиении, профиль CKA по всем слоям (linear и RBF), выравнивание градиентов как направленная мера, частные корреляции с учётом уязвимости цели, перестановочные тесты на уровне моделей; опционально — интервенция (обучение с лоссом декорреляции). Реалистичный вклад магистерской работы — эмпирическая характеризация условий, при которых меры сходства предсказывают перенос, включая честный отрицательный результат.
Источники формулировок: 08_Research_Findings_and_Limitations_RU.md и 09_Next_Steps_and_Research_Gap_RU.md пакета исследования (05.11.2026).