Документацияпротокол версии 05.11.2026
Методология и протокол пилотного эксперимента
Протокол версии 05.11.2026 из пакета исследования (06_Methodology_and_Experimental_Protocol_RU.md). Он одинаков для первого прогона и перезапуска; все определения ниже реализованы в коде пакета и повторены в браузерном движке сайта.
01Объект, предмет, вопрос, гипотеза
- Объект
- состязательные (adversarial) примеры для классификаторов изображений и их переносимость между независимо обученными моделями
- Предмет
- связь между сходством внутренних признаковых представлений двух моделей (linear CKA) и переносимостью состязательных примеров, построенных на одной модели, на другую
- Вопрос (RQ)
- связана ли мера сходства представлений двух моделей, вычисленная на чистых данных, с долей успешных переносов между ними, и при каких условиях (архитектура, слой, бюджет ε, тип атаки) эта связь наблюдается?
- Гипотеза H1
- при прочих равных пары моделей с более высоким CKA предпоследнего слоя демонстрируют более высокую переносимость (проверяемая, не доказанная)
- Альтернатива H0
- после учёта архитектурного семейства и собственной уязвимости модели-цели связь отсутствует или неустойчива
- Что опровергло бы H1
- отсутствие монотонной связи внутри групп пар одной структуры (например, только среди кросс-архитектурных пар) при повторении на нескольких seed и бюджетах
- Не утверждается
- причинное влияние CKA на переносимость; универсальность для других датасетов и архитектур; статистическая значимость
Obyekt — adversarial misollar va ularning ko‘chuvchanligi; predmet — CKA bilan ko‘chish o‘rtasidagi bog‘liqlik; H1 — CKA yuqori bo‘lsa ko‘chish yuqori; H0 — arxitektura oilasini hisobga olsak bog‘liqlik yo‘q yoki beqaror.
02Модель угроз
| Задача | классификация изображений рукописных цифр, 10 классов |
|---|---|
| Атакующий | полный white-box доступ к модели-источнику fs (веса, градиенты) и знание истинной метки y; нет доступа к градиентам модели-цели ft — перенос оценивается как black-box по отношению к цели |
| Цель атаки | untargeted (ненаправленная): любая ошибка классификации |
| Ограничение | L∞-шар радиуса ε в нормированной шкале [0,1]; после сложения — клиппинг в [0,1], поэтому реализованное изменение пикселя может быть меньше ε |
| Бюджеты | ε ∈ {0,10; 0,20} (первый прогон) и дополнительно {0,05; 0,15} в перезапуске; в лаборатории сайта ε меняется непрерывно 0…0,30 как живой расчёт |
| Заметность | ε = 0,10 — 1,6 из 16 градаций на пиксель; ε = 0,20 — 3,2 градации. На 8×8 это визуально заметные изменения; слово «незаметное» не используется |
03Данные и разбиение
sklearn.datasets.load_digits— 1797 изображений 8×8, целые интенсивности 0..16, 10 классов (174–183 примеров на класс). По документации scikit-learn это копия тестового набора UCI «Optical Recognition of Handwritten Digits» (Alpaydin, Kaynak, 1998): битмапы 32×32 из форм NIST разбиты на блоки 4×4, в каждом подсчитано число включённых пикселей. Это не MNIST.- Нормировка: x/16 → [0,1]; тензор (n, 1, 8, 8). Статистики обучающей выборки не используются (деление на константу), утечка статистик теста исключена по построению.
- Разбиение: стратифицированное 75/25 через
train_test_split(random_state=seed, stratify=y): 1347 обучающих / 450 тестовых (43–46 примеров на класс в тесте). Seed меняет и разбиение, и инициализацию, и порядок батчей — три seed (42/43/44) — три пилотных реплики процедуры. - Тестовые метки не участвуют в обучении; для FGSM они — допущение об информации атакующего.
04Модели и обучение
| Модель | Архитектура | Параметров | penultimate | early |
|---|---|---|---|---|
| MLP-96 | 64 → 96 → ReLU → 48 → ReLU → 10 | 11 386 | 48 | 96 |
| MLP-160 | 64 → 160 → ReLU → 64 → ReLU → 10 | 21 354 | 64 | 160 |
| CNN-12 | conv3×3(12) → ReLU → conv3×3(24) → ReLU → maxpool2 → flatten(384) → 48 → ReLU → 10 | 21 706 | 48 | 384 |
| CNN-20 | conv3×3(20) → ReLU → conv3×3(40) → ReLU → maxpool2 → flatten(640) → 64 → ReLU → 10 | 49 114 | 64 | 640 |
Обучение: Adam (lr = 0,003), batch 128, 30 эпох, cross-entropy, без dropout и batchnorm; порядок батчей — генератор с seed seed + 97·i (i — индекс модели), инициализация — глобальный torch.manual_seed(seed) при фиксированном порядке создания моделей. Параметры совпадают с первым прогоном, что позволило проверить воспроизводимость между версиями PyTorch. Модели сайта — экспортированные веса этих чекпоинтов (float32, без изменений); сайт ничего не дообучает.
05Атаки и контроль
FGSM (untargeted; Goodfellow et al., 2015)
PGD (L∞; Madry et al., 2018; вторичная атака, только в перезапуске)
10 шагов, α = 2,5·ε/10, случайный старт в ε-шаре (seeded), после каждого шага проекция на ε-шар вокруг x и клиппинг в [0,1]. В браузере сайта PGD выполняется как реальный многошаговый расчёт; по умолчанию без случайного старта (детерминированно), поэтому его результаты сопоставимы с CSV лишь приблизительно.
Контроль
Тот же L∞-бюджет, клиппинг и маска J. Контроль не является оптимизированной атакой; он отделяет эффект направленного градиентного возмущения от эффекта шума той же амплитуды. Реализованные нормы возмущений записаны в CSV (adv_mean_linf, adv_mean_l2, доля изменённых пикселей).
06Маска J и метрики переноса
Для направленной пары источник s → цель t и тестовых примеров (xi, yi):
- J(s,t)
- { i : fs(xi) = yi ∧ ft(xi) = yi } — примеры, верно классифицированные обеими моделями до атаки; |J| ∈ [429, 441]
- T_joint(s→t)
- |{ i ∈ J : ft(xadv,i) ≠ yi }| / |J| — основная метрика; не требует, чтобы пример обманул источник
- source_success(s)
- |{ i ∈ J : fs(xadv,i) ≠ yi }| / |J| — white-box успех
- T_conditional(s→t)
- |{ i ∈ J : fs(xadv,i) ≠ yi ∧ ft(xadv,i) ≠ yi }| / |{ i ∈ J : fs(xadv,i) ≠ yi }|; при нулевом знаменателе — N/A (в данных пилота минимум 142)
- random_rate(t)
- |{ i ∈ J : ft(xrand,i) ≠ yi }| / |J|
Все числители и знаменатели сохраняются как целые числа, поэтому любую долю можно пересчитать вручную. Пример (первый прогон, seed 42, MLP-96 → CNN-12, ε = 0,10): |J| = 434; источник ошибся 248; цель ошиблась 121 → T_joint = 0,279; обе 111 → T_conditional = 111/248 = 0,448; контроль 1/434 = 0,002. Обратное направление CNN-12 → MLP-96: 150/434 = 0,346.
J — ikkala model ham toza rasmni to‘g‘ri bilgan misollar; T_joint = nishon xato / |J|; T_conditional = ikkalasi xato / manba xato; maxraj 0 bo‘lsa — N/A, 0 emas.
07Сходство представлений: linear CKA
Для матриц активаций X (n×p₁) и Y (n×p₂) на одних и тех же n = 450 чистых тестовых примерах, с центрированием каждого признака по примерам:
Это HSIC(K, L)/√(HSIC(K,K)·HSIC(L,L)) при линейных ядрах K = XXᵀ, L = YYᵀ (Kornblith et al., 2019). Свойства, проверенные тестами пакета и записанные при каждом прогоне: CKA(X,X) = 1; симметрия (|CKA(X,Y) − CKA(Y,X)| ≤ 5,6·10⁻¹⁶); инвариантность к ортогональным преобразованиям и изотропному масштабированию; не инвариантность к произвольным обратимым линейным преобразованиям; работает при p ≠ q и p > n (ранний слой CNN-20: 640 > 450); при нулевой дисперсии — NaN, а не 0. Дополнительная мера (перезапуск): средний косинус входных градиентов двух моделей на J — gradient alignment по Demontis et al. (2019).
08Агрегация 12 → 6 и описательная корреляция
Для каждой неупорядоченной пары {a, b}: mean_T = (T_joint(a→b) + T_joint(b→a))/2; pooled_T = (num(a→b) + num(b→a))/(den(a→b) + den(b→a)); asym = T_joint(a→b) − T_joint(b→a); CKA — одно число. Корреляция Спирмена между CKA и mean_T считается только описательно по 6 парам каждого (seed, атака, ε); дополнительно — без пары MLP-96↔MLP-160 (n = 5) и только по кросс-архитектурным парам (n = 4). p-value не вычисляется: пары зависимы, seed — не независимые наблюдения, при n = 6 множество значений ρ дискретно.
09Воспроизводимость и команды
| Первый прогон | Перезапуск | |
|---|---|---|
| Дата | 29.10.2026 | 05.11.2026 (10:29–10:30 местного времени) |
| Среда | Linux, torch 2.10.0+cpu, numpy 2.3.5 | вторая машина: Windows 11 (10.0.26300), AMD64, Python 3.14.7, torch 2.15.0+cpu, numpy 2.5.4, scikit-learn 1.9.1, scipy 1.18.1, pandas 3.1.1 |
| Детерминизм | seeds; потоки ≤ 2 | seeds; torch.use_deterministic_algorithms(True); 2 потока; повтор того же seed даёт побитово те же предсказания |
| Время | ≈ 4,5 с/seed (FGSM, 2 ε) | ≈ 12 с/seed (FGSM + PGD, 4 ε, 2 слоя CKA, косинусы градиентов) |
Команды из корня пакета исследования (после environment_setup_windows.ps1):
.\.venv\Scripts\python.exe src\experiment.py --seed 42 --epochs 30 --epsilon 0.05 0.10 0.15 0.20 --attack fgsm pgd --output results\student_runs\seed42.\.venv\Scripts\python.exe src\analyze_results.py --reruns results\student_runs --out results\student_runs\derived.\.venv\Scripts\python.exe src\make_figures.py --derived results\student_runs\derived --out figures\student_runs.\.venv\Scripts\python.exe src\demo.py --source MLP-96 --target CNN-12 --epsilon 0.10 --seed 42.\.venv\Scripts\python.exe -m pytest -q tests
Данные сайта воспроизводятся командой scripts/research/export_research_data.py из репозитория сайта (см. О работе); паритет браузерного движка с PyTorch измерен тестами и показан на странице диагностики.
10Словарь столбцов (кратко)
| Столбец | Единица | Значение |
|---|---|---|
| seed | — | seed разбиения/инициализации/порядка батчей |
| attack | — | fgsm или pgd |
| epsilon | [0,1]-пиксели | L∞-бюджет |
| source, target | — | модель-источник (на ней строится x_adv) и модель-цель |
| pair_type | — | same_family (MLP↔MLP, CNN↔CNN) или cross_family |
| joint_clean_correct | шт. | |J| |
| source_wrong_adv_on_joint · target_wrong_adv_on_joint · both_wrong_adv_on_joint · target_wrong_random_on_joint | шт. | числители метрик |
| T_joint · source_success_rate · T_conditional · random_rate | доля [0,1] | см. §6 |
| CKA_penultimate · CKA_early | [0,1] | linear CKA по слоям |
| grad_cosine_mean | [−1,1] | средний косинус входных градиентов на J |
| adv_mean_linf · adv_max_linf · adv_mean_l2 · adv_frac_pixels_changed | [0,1]-пиксели / доля | реализованные нормы возмущения после клиппинга |
| clean_accuracy · correct | доля / шт. | точность на 450 тестовых примерах |
11Что в пилот не входит
- MNIST/CIFAR-10 и крупные архитектуры — оставлены для следующего этапа после согласования с руководителем.
- Целевые (targeted) атаки, L2-атаки, защищённые (adversarially trained) модели.
- Статистический вывод (доверительные интервалы, тесты) — не обоснован при 4 моделях и 6 зависимых парах.
12Глоссарий: русский · узбекский · английский термин
Показать глоссарий39 терминов · русский, узбекский, английский
| Термин (RU) | EN | Определение | Izoh (UZ) |
|---|---|---|---|
| Состязательный пример | adversarial example | вход с малым целенаправленным возмущением, вызывающий ошибку модели | kichik, maqsadli o‘zgartirilgan kirish; model xato qiladi |
| Переносимость | transferability | свойство примера, построенного для модели A, обманывать и модель B | A uchun yasalgan misolning B ni ham aldashi |
| Истинная метка | ground truth | разметка набора данных; не зависит от предсказаний модели | datasetdagi yorliq; model javobiga bog‘liq emas |
| Пиксельная сетка 8×8 | pixel grid | 64 целых числа 0..16 — истинное разрешение данных; на сайте увеличено без интерполяции | 64 ta son 0..16; kattalashtirib ko‘rsatilgan, MNIST emas |
| Неоднозначность digits | 8×8 ambiguity | некоторые цифры неоднозначны и для человека — ограничение набора, которое не скрывается | ba’zi raqamlar odamga ham noaniq — datasetning cheklovi |
| Модель-источник | source / surrogate | модель, на которой вычисляется градиент (white-box) | gradient olinadigan model |
| Модель-цель | target | модель, оценивающая готовый пример; её градиенты не используются (black-box) | faqat baholovchi model; gradienti ishlatilmaydi |
| FGSM | Fast Gradient Sign Method | одношаговая атака: x + ε·sign(∇ₓL), затем клиппинг | bir qadamli gradient ishorasi hujumi |
| PGD | Projected Gradient Descent | многошаговая атака с проекцией на ε-шар | ko‘p qadamli, ε-sharga proyeksiyali hujum |
| ε, бюджет L∞ | epsilon budget | максимальное изменение любого пикселя в шкале [0,1] | har pikselning maksimal o‘zgarishi |
| Знак градиента | gradient sign | направление (+1/−1/0), в котором рост пикселя увеличивает потери | qaysi tomonga surilsa loss oshadi |
| Клиппинг | clipping | возврат значений в [0,1]; на границе фактическое изменение меньше ε | natijani [0,1] ga qaytarish |
| Нецелевая атака | untargeted attack | цель — любая ошибка, а не конкретный неверный класс | har qanday xato — maqsad |
| Ошибка только цели | target-only error | источник устоял, цель ошиблась; входит в T_joint, не строгий перенос | manba to‘g‘ri, nishon xato — T_joint ga kiradi |
| Строгий перенос | strict transfer | обманут и источник, и цель | ikkalasi ham aldandi |
| Маска J | joint-clean eligibility | примеры, верно классифицированные обеими моделями до атаки | ikkala model ham toza rasmda to‘g‘ri |
| T_joint | — | доля ошибок цели на J | J ichida nishon xatosi ulushi |
| T_conditional | — | доля обманувших источник примеров, которые обманули и цель | manbani aldagan misollar ichida nishon ham aldangan ulush |
| Направление переноса | transfer direction | T(A→B) и T(B→A) — разные величины | T(A→B) ≠ T(B→A) |
| Случайный контроль | random-sign baseline | ±ε без градиента; тот же бюджет и маска | gradientsiz tasodifiy ±ε |
| L∞ и L2 | L∞ vs L2 | максимум по пикселям против евклидовой длины вектора изменений; контроль выравнивает L∞, не L2 | maksimal o‘zgarish va umumiy uzunlik — turli narsa |
| Linear CKA | centered kernel alignment | индекс сходства геометрии представлений, [0,1], симметричный | vakilliklar o‘xshashlik indeksi; simmetrik |
| Признаковое пространство | feature space | пространство векторов промежуточного слоя | modelning ichki koordinatalari |
| Выбранный слой | chosen layer | penultimate (основной) или early (чувствительность); выбор меняет результат | qatlam tanlovi natijani o‘zgartiradi |
| Симметрия CKA | CKA symmetry | CKA(A,B) = CKA(B,A) — поэтому 12 направлений сводятся к 6 парам | 12 yo‘nalish → 6 juftlik |
| Пары одного / разных семейств | same- / cross-family pairs | MLP↔MLP и CNN↔CNN против MLP↔CNN | bir oila / turli oilalar |
| Описательный Спирмен | descriptive Spearman | ранговая корреляция без вывода о генеральной совокупности | tartib bo‘yicha bog‘liqlik, xulosasiz |
| Независимость наблюдений | independent observations | отсутствует: пары делят модели, seed меняют всё сразу | juftliklar bog‘liq |
| Вмешивающийся фактор (конфаундер) семейства | architecture confounding | семейство влияет и на CKA, и на перенос | arxitektura oilasi ikkalasiga ta’sir qiladi |
| Исследовательский результат | exploratory result | описательное наблюдение, требующее проверки | tekshirishni talab qiladigan kuzatuv |
| Ограничения набора | dataset limitations | 8×8, 64 признака, 1797 изображений | kichik dataset |
| Разброс по seed | seed variance | ρ по шести парам меняется от 0,26 до 0,94 в зависимости от seed и ε (FGSM, CKA предпоследнего слоя; при ε = 0,10 и 0,20 — от 0,37 до 0,94) | seedlar orasida farq katta |
| Воспроизведение | reproduction | перезапуск совпал с первым прогоном в пределах |ΔT| ≤ 0,021 | qayta ishga tushirishda deyarli bir xil |
| Провенанс | scientific provenance | откуда, когда и как получено каждое число | natija qayerdan, qachon, qanday olingan |
| Пробел исследования | research gap | условия, при которых CKA предсказывает перенос после учёта вмешивающихся факторов (конфаундеров) — предварительная формулировка | hali tasdiqlanmagan taxmin |
| Контролируемый эксперимент | future controlled experiment | план: больше моделей, фиксированное разбиение, интервенция | keyingi bosqich rejasi |
| Статус работы | work status | предварительный этап НИР · ИТМО · 2026; руководитель НИР — Бучаев А. Я. | NIR ning dastlabki bosqichi; rahbar — Buchaev A. Ya. |
| Softmax-score | softmax score | максимум softmax; не калиброванная вероятность | ehtimollik emas, ishonch ko‘rsatkichi |
| ИИ против МО | AI vs ML | машинное обучение — раздел ИИ; здесь исследуются обученные классификаторы | mashinali o‘qitish — AI ning bir qismi |
13Мультимодальное расширение: общий протокол
С 19.11.2026 к пилоту добавлены лаборатории текста, аудио и табличных данных, а изображения описаны в той же схеме на странице модальности. Это расширение, а не часть измерений пилота: тема работы, данные пилота, его чекпоинты, CSV и выводы не менялись; новые прогоны имеют свои даты, файлы и манифест.
Обозначения для модальности m
- x, y
- чистый вход и его метка; fs — источник, ft — цель, обе модели решают одну задачу с одним пространством меток
- As(x; θ)
- атака, использующая только разрешённый доступ к источнику (градиент или запросы); цель оценивается после построения входа
- Cm(x)
- множество допустимых изменений, своё для каждой модальности и проверяемое отдельной функцией: L∞-шар в пикселях; словарь замен и правила символов в тексте; L∞ и SNR ≥ 20 дБ для волны; схема признаков для таблиц
- Jm(s,t)
- { i : fs(xi) = yi ∧ ft(xi) = yi }; внутри J счётчики nab: a — ошибка источника, b — ошибка цели на построенном входе
Метрики и правила знаменателей
- Пустое J даёт N/A, а не 0; если на источнике нет ни одного успеха, Tcond — N/A.
- Кандидат, не прошедший проверку Cm, не считается успехом: он исключается из Jvalid, а их число показывается отдельно (доля допустимых).
- Пример n01 (ошиблась только цель) входит в ошибку цели, но не является переносом успешной атаки.
- Контроль строится в бюджете своей модальности: случайные знаки ±ε для пикселей и волны, то же число случайных допустимых правок для текста и таблиц.
- Все агрегаты хранимых прогонов пересчитываются из строк по каждому примеру (проверка схемы
NIR_MM.validateRun); фильтрация сохранённого прогона — не новое вычисление.
Неопределённость и сходство представлений
Пары моделей делят одни и те же примеры, а три seed меняют разбиение, инициализацию и порядок обучения одновременно, поэтому p-value по числу строк не вычисляются; интервал Уилсона приводится только как утверждение об одной фиксированной паре. CKA вычисляется только для моделей одной задачи с настоящими скрытыми представлениями на одних и тех же примерах; для линейных моделей без скрытого слоя она не применяется, и между модальностями значения CKA не сравниваются.
Классы доказательств: LIVE COMPUTATION — расчёт в браузере сейчас (на страницах пилота — REAL COMPUTATION); VERIFIED RUN — сохранённый прогон со строками и хэшами (у пилота — строки CSV пакета); ILLUSTRATIVE — схема; NOT IMPLEMENTED — описание будущей работы. Сводка по модальностям и таксономия угроз — на странице сравнения.
Kengaytma 19.11.2026 da qo‘shilgan: matn, audio va jadval laboratoriyalari. Har bir modallikda ruxsat etilgan o‘zgarishlar alohida tekshiriladi; metrikalar J ichida, nol maxraj — N/A. Pilot ma’lumotlari va xulosalari o‘zgartirilmagan.