Документацияпротокол версии 05.11.2026

Методология и протокол пилотного эксперимента

Протокол версии 05.11.2026 из пакета исследования (06_Methodology_and_Experimental_Protocol_RU.md). Он одинаков для первого прогона и перезапуска; все определения ниже реализованы в коде пакета и повторены в браузерном движке сайта.

  • VERIFIED PRECOMPUTED EXPERIMENT

01Объект, предмет, вопрос, гипотеза

Объект
состязательные (adversarial) примеры для классификаторов изображений и их переносимость между независимо обученными моделями
Предмет
связь между сходством внутренних признаковых представлений двух моделей (linear CKA) и переносимостью состязательных примеров, построенных на одной модели, на другую
Вопрос (RQ)
связана ли мера сходства представлений двух моделей, вычисленная на чистых данных, с долей успешных переносов между ними, и при каких условиях (архитектура, слой, бюджет ε, тип атаки) эта связь наблюдается?
Гипотеза H1
при прочих равных пары моделей с более высоким CKA предпоследнего слоя демонстрируют более высокую переносимость (проверяемая, не доказанная)
Альтернатива H0
после учёта архитектурного семейства и собственной уязвимости модели-цели связь отсутствует или неустойчива
Что опровергло бы H1
отсутствие монотонной связи внутри групп пар одной структуры (например, только среди кросс-архитектурных пар) при повторении на нескольких seed и бюджетах
Не утверждается
причинное влияние CKA на переносимость; универсальность для других датасетов и архитектур; статистическая значимость

Obyekt — adversarial misollar va ularning ko‘chuvchanligi; predmet — CKA bilan ko‘chish o‘rtasidagi bog‘liqlik; H1 — CKA yuqori bo‘lsa ko‘chish yuqori; H0 — arxitektura oilasini hisobga olsak bog‘liqlik yo‘q yoki beqaror.

02Модель угроз

Задачаклассификация изображений рукописных цифр, 10 классов
Атакующийполный white-box доступ к модели-источнику fs (веса, градиенты) и знание истинной метки y; нет доступа к градиентам модели-цели ft — перенос оценивается как black-box по отношению к цели
Цель атакиuntargeted (ненаправленная): любая ошибка классификации
ОграничениеL∞-шар радиуса ε в нормированной шкале [0,1]; после сложения — клиппинг в [0,1], поэтому реализованное изменение пикселя может быть меньше ε
Бюджетыε ∈ {0,10; 0,20} (первый прогон) и дополнительно {0,05; 0,15} в перезапуске; в лаборатории сайта ε меняется непрерывно 0…0,30 как живой расчёт
Заметностьε = 0,10 — 1,6 из 16 градаций на пиксель; ε = 0,20 — 3,2 градации. На 8×8 это визуально заметные изменения; слово «незаметное» не используется

03Данные и разбиение

  • sklearn.datasets.load_digits — 1797 изображений 8×8, целые интенсивности 0..16, 10 классов (174–183 примеров на класс). По документации scikit-learn это копия тестового набора UCI «Optical Recognition of Handwritten Digits» (Alpaydin, Kaynak, 1998): битмапы 32×32 из форм NIST разбиты на блоки 4×4, в каждом подсчитано число включённых пикселей. Это не MNIST.
  • Нормировка: x/16 → [0,1]; тензор (n, 1, 8, 8). Статистики обучающей выборки не используются (деление на константу), утечка статистик теста исключена по построению.
  • Разбиение: стратифицированное 75/25 через train_test_split(random_state=seed, stratify=y): 1347 обучающих / 450 тестовых (43–46 примеров на класс в тесте). Seed меняет и разбиение, и инициализацию, и порядок батчей — три seed (42/43/44) — три пилотных реплики процедуры.
  • Тестовые метки не участвуют в обучении; для FGSM они — допущение об информации атакующего.

04Модели и обучение

Архитектуры четырёх моделей; слои для CKA: «penultimate» — узкий слой (bottleneck) после ReLU; «early» — первый скрытый слой (MLP) или выход свёрточного блока после max-pool (CNN).
МодельАрхитектураПараметровpenultimateearly
MLP-9664 → 96 → ReLU → 48 → ReLU → 1011 3864896
MLP-16064 → 160 → ReLU → 64 → ReLU → 1021 35464160
CNN-12conv3×3(12) → ReLU → conv3×3(24) → ReLU → maxpool2 → flatten(384) → 48 → ReLU → 1021 70648384
CNN-20conv3×3(20) → ReLU → conv3×3(40) → ReLU → maxpool2 → flatten(640) → 64 → ReLU → 1049 11464640

Обучение: Adam (lr = 0,003), batch 128, 30 эпох, cross-entropy, без dropout и batchnorm; порядок батчей — генератор с seed seed + 97·i (i — индекс модели), инициализация — глобальный torch.manual_seed(seed) при фиксированном порядке создания моделей. Параметры совпадают с первым прогоном, что позволило проверить воспроизводимость между версиями PyTorch. Модели сайта — экспортированные веса этих чекпоинтов (float32, без изменений); сайт ничего не дообучает.

05Атаки и контроль

FGSM (untargeted; Goodfellow et al., 2015)

xadv = clip[0,1]( x + ε · sign( ∇x L( fs(x), y ) ) ), L — cross-entropy

PGD (L∞; Madry et al., 2018; вторичная атака, только в перезапуске)

10 шагов, α = 2,5·ε/10, случайный старт в ε-шаре (seeded), после каждого шага проекция на ε-шар вокруг x и клиппинг в [0,1]. В браузере сайта PGD выполняется как реальный многошаговый расчёт; по умолчанию без случайного старта (детерминированно), поэтому его результаты сопоставимы с CSV лишь приблизительно.

Контроль

xrand = clip[0,1]( x + ε · r ), ri ∈ {−1, +1} случайно (seeded)

Тот же L∞-бюджет, клиппинг и маска J. Контроль не является оптимизированной атакой; он отделяет эффект направленного градиентного возмущения от эффекта шума той же амплитуды. Реализованные нормы возмущений записаны в CSV (adv_mean_linf, adv_mean_l2, доля изменённых пикселей).

06Маска J и метрики переноса

Для направленной пары источник s → цель t и тестовых примеров (xi, yi):

J(s,t)
{ i : fs(xi) = yi ∧ ft(xi) = yi } — примеры, верно классифицированные обеими моделями до атаки; |J| ∈ [429, 441]
T_joint(s→t)
|{ i ∈ J : ft(xadv,i) ≠ yi }| / |J| — основная метрика; не требует, чтобы пример обманул источник
source_success(s)
|{ i ∈ J : fs(xadv,i) ≠ yi }| / |J| — white-box успех
T_conditional(s→t)
|{ i ∈ J : fs(xadv,i) ≠ yi ∧ ft(xadv,i) ≠ yi }| / |{ i ∈ J : fs(xadv,i) ≠ yi }|; при нулевом знаменателе — N/A (в данных пилота минимум 142)
random_rate(t)
|{ i ∈ J : ft(xrand,i) ≠ yi }| / |J|

Все числители и знаменатели сохраняются как целые числа, поэтому любую долю можно пересчитать вручную. Пример (первый прогон, seed 42, MLP-96 → CNN-12, ε = 0,10): |J| = 434; источник ошибся 248; цель ошиблась 121 → T_joint = 0,279; обе 111 → T_conditional = 111/248 = 0,448; контроль 1/434 = 0,002. Обратное направление CNN-12 → MLP-96: 150/434 = 0,346.

J — ikkala model ham toza rasmni to‘g‘ri bilgan misollar; T_joint = nishon xato / |J|; T_conditional = ikkalasi xato / manba xato; maxraj 0 bo‘lsa — N/A, 0 emas.

07Сходство представлений: linear CKA

Для матриц активаций X (n×p₁) и Y (n×p₂) на одних и тех же n = 450 чистых тестовых примерах, с центрированием каждого признака по примерам:

Это HSIC(K, L)/√(HSIC(K,K)·HSIC(L,L)) при линейных ядрах K = XXᵀ, L = YYᵀ (Kornblith et al., 2019). Свойства, проверенные тестами пакета и записанные при каждом прогоне: CKA(X,X) = 1; симметрия (|CKA(X,Y) − CKA(Y,X)| ≤ 5,6·10⁻¹⁶); инвариантность к ортогональным преобразованиям и изотропному масштабированию; не инвариантность к произвольным обратимым линейным преобразованиям; работает при p ≠ q и p > n (ранний слой CNN-20: 640 > 450); при нулевой дисперсии — NaN, а не 0. Дополнительная мера (перезапуск): средний косинус входных градиентов двух моделей на J — gradient alignment по Demontis et al. (2019).

08Агрегация 12 → 6 и описательная корреляция

Для каждой неупорядоченной пары {a, b}: mean_T = (T_joint(a→b) + T_joint(b→a))/2; pooled_T = (num(a→b) + num(b→a))/(den(a→b) + den(b→a)); asym = T_joint(a→b) − T_joint(b→a); CKA — одно число. Корреляция Спирмена между CKA и mean_T считается только описательно по 6 парам каждого (seed, атака, ε); дополнительно — без пары MLP-96↔MLP-160 (n = 5) и только по кросс-архитектурным парам (n = 4). p-value не вычисляется: пары зависимы, seed — не независимые наблюдения, при n = 6 множество значений ρ дискретно.

09Воспроизводимость и команды

Первый прогонПерезапуск
Дата29.10.202605.11.2026 (10:29–10:30 местного времени)
СредаLinux, torch 2.10.0+cpu, numpy 2.3.5вторая машина: Windows 11 (10.0.26300), AMD64, Python 3.14.7, torch 2.15.0+cpu, numpy 2.5.4, scikit-learn 1.9.1, scipy 1.18.1, pandas 3.1.1
Детерминизмseeds; потоки ≤ 2seeds; torch.use_deterministic_algorithms(True); 2 потока; повтор того же seed даёт побитово те же предсказания
Время≈ 4,5 с/seed (FGSM, 2 ε)≈ 12 с/seed (FGSM + PGD, 4 ε, 2 слоя CKA, косинусы градиентов)

Команды из корня пакета исследования (после environment_setup_windows.ps1):

.\.venv\Scripts\python.exe src\experiment.py --seed 42 --epochs 30 --epsilon 0.05 0.10 0.15 0.20 --attack fgsm pgd --output results\student_runs\seed42.\.venv\Scripts\python.exe src\analyze_results.py --reruns results\student_runs --out results\student_runs\derived.\.venv\Scripts\python.exe src\make_figures.py --derived results\student_runs\derived --out figures\student_runs.\.venv\Scripts\python.exe src\demo.py --source MLP-96 --target CNN-12 --epsilon 0.10 --seed 42.\.venv\Scripts\python.exe -m pytest -q tests

Данные сайта воспроизводятся командой scripts/research/export_research_data.py из репозитория сайта (см. О работе); паритет браузерного движка с PyTorch измерен тестами и показан на странице диагностики.

10Словарь столбцов (кратко)

СтолбецЕдиницаЗначение
seed—seed разбиения/инициализации/порядка батчей
attack—fgsm или pgd
epsilon[0,1]-пикселиL∞-бюджет
source, target—модель-источник (на ней строится x_adv) и модель-цель
pair_type—same_family (MLP↔MLP, CNN↔CNN) или cross_family
joint_clean_correctшт.|J|
source_wrong_adv_on_joint · target_wrong_adv_on_joint · both_wrong_adv_on_joint · target_wrong_random_on_jointшт.числители метрик
T_joint · source_success_rate · T_conditional · random_rateдоля [0,1]см. §6
CKA_penultimate · CKA_early[0,1]linear CKA по слоям
grad_cosine_mean[−1,1]средний косинус входных градиентов на J
adv_mean_linf · adv_max_linf · adv_mean_l2 · adv_frac_pixels_changed[0,1]-пиксели / доляреализованные нормы возмущения после клиппинга
clean_accuracy · correctдоля / шт.точность на 450 тестовых примерах

11Что в пилот не входит

  • MNIST/CIFAR-10 и крупные архитектуры — оставлены для следующего этапа после согласования с руководителем.
  • Целевые (targeted) атаки, L2-атаки, защищённые (adversarially trained) модели.
  • Статистический вывод (доверительные интервалы, тесты) — не обоснован при 4 моделях и 6 зависимых парах.

12Глоссарий: русский · узбекский · английский термин

Показать глоссарий39 терминов · русский, узбекский, английский
Короткие определения понятий, используемых на сайте. Узбекские пояснения — для самостоятельного освоения темы.
Термин (RU)ENОпределениеIzoh (UZ)
Состязательный примерadversarial exampleвход с малым целенаправленным возмущением, вызывающий ошибку моделиkichik, maqsadli o‘zgartirilgan kirish; model xato qiladi
Переносимостьtransferabilityсвойство примера, построенного для модели A, обманывать и модель BA uchun yasalgan misolning B ni ham aldashi
Истинная меткаground truthразметка набора данных; не зависит от предсказаний моделиdatasetdagi yorliq; model javobiga bog‘liq emas
Пиксельная сетка 8×8pixel grid64 целых числа 0..16 — истинное разрешение данных; на сайте увеличено без интерполяции64 ta son 0..16; kattalashtirib ko‘rsatilgan, MNIST emas
Неоднозначность digits8×8 ambiguityнекоторые цифры неоднозначны и для человека — ограничение набора, которое не скрываетсяba’zi raqamlar odamga ham noaniq — datasetning cheklovi
Модель-источникsource / surrogateмодель, на которой вычисляется градиент (white-box)gradient olinadigan model
Модель-цельtargetмодель, оценивающая готовый пример; её градиенты не используются (black-box)faqat baholovchi model; gradienti ishlatilmaydi
FGSMFast Gradient Sign Methodодношаговая атака: x + ε·sign(∇ₓL), затем клиппингbir qadamli gradient ishorasi hujumi
PGDProjected Gradient Descentмногошаговая атака с проекцией на ε-шарko‘p qadamli, ε-sharga proyeksiyali hujum
ε, бюджет L∞epsilon budgetмаксимальное изменение любого пикселя в шкале [0,1]har pikselning maksimal o‘zgarishi
Знак градиентаgradient signнаправление (+1/−1/0), в котором рост пикселя увеличивает потериqaysi tomonga surilsa loss oshadi
Клиппингclippingвозврат значений в [0,1]; на границе фактическое изменение меньше εnatijani [0,1] ga qaytarish
Нецелевая атакаuntargeted attackцель — любая ошибка, а не конкретный неверный классhar qanday xato — maqsad
Ошибка только целиtarget-only errorисточник устоял, цель ошиблась; входит в T_joint, не строгий переносmanba to‘g‘ri, nishon xato — T_joint ga kiradi
Строгий переносstrict transferобманут и источник, и цельikkalasi ham aldandi
Маска Jjoint-clean eligibilityпримеры, верно классифицированные обеими моделями до атакиikkala model ham toza rasmda to‘g‘ri
T_joint—доля ошибок цели на JJ ichida nishon xatosi ulushi
T_conditional—доля обманувших источник примеров, которые обманули и цельmanbani aldagan misollar ichida nishon ham aldangan ulush
Направление переносаtransfer directionT(A→B) и T(B→A) — разные величиныT(A→B) ≠ T(B→A)
Случайный контрольrandom-sign baseline±ε без градиента; тот же бюджет и маскаgradientsiz tasodifiy ±ε
L∞ и L2L∞ vs L2максимум по пикселям против евклидовой длины вектора изменений; контроль выравнивает L∞, не L2maksimal o‘zgarish va umumiy uzunlik — turli narsa
Linear CKAcentered kernel alignmentиндекс сходства геометрии представлений, [0,1], симметричныйvakilliklar o‘xshashlik indeksi; simmetrik
Признаковое пространствоfeature spaceпространство векторов промежуточного слояmodelning ichki koordinatalari
Выбранный слойchosen layerpenultimate (основной) или early (чувствительность); выбор меняет результатqatlam tanlovi natijani o‘zgartiradi
Симметрия CKACKA symmetryCKA(A,B) = CKA(B,A) — поэтому 12 направлений сводятся к 6 парам12 yo‘nalish → 6 juftlik
Пары одного / разных семействsame- / cross-family pairsMLP↔MLP и CNN↔CNN против MLP↔CNNbir oila / turli oilalar
Описательный Спирменdescriptive Spearmanранговая корреляция без вывода о генеральной совокупностиtartib bo‘yicha bog‘liqlik, xulosasiz
Независимость наблюденийindependent observationsотсутствует: пары делят модели, seed меняют всё сразуjuftliklar bog‘liq
Вмешивающийся фактор (конфаундер) семействаarchitecture confoundingсемейство влияет и на CKA, и на переносarxitektura oilasi ikkalasiga ta’sir qiladi
Исследовательский результатexploratory resultописательное наблюдение, требующее проверкиtekshirishni talab qiladigan kuzatuv
Ограничения набораdataset limitations8×8, 64 признака, 1797 изображенийkichik dataset
Разброс по seedseed varianceρ по шести парам меняется от 0,26 до 0,94 в зависимости от seed и ε (FGSM, CKA предпоследнего слоя; при ε = 0,10 и 0,20 — от 0,37 до 0,94)seedlar orasida farq katta
Воспроизведениеreproductionперезапуск совпал с первым прогоном в пределах |ΔT| ≤ 0,021qayta ishga tushirishda deyarli bir xil
Провенансscientific provenanceоткуда, когда и как получено каждое числоnatija qayerdan, qachon, qanday olingan
Пробел исследованияresearch gapусловия, при которых CKA предсказывает перенос после учёта вмешивающихся факторов (конфаундеров) — предварительная формулировкаhali tasdiqlanmagan taxmin
Контролируемый экспериментfuture controlled experimentплан: больше моделей, фиксированное разбиение, интервенцияkeyingi bosqich rejasi
Статус работыwork statusпредварительный этап НИР · ИТМО · 2026; руководитель НИР — Бучаев А. Я.NIR ning dastlabki bosqichi; rahbar — Buchaev A. Ya.
Softmax-scoresoftmax scoreмаксимум softmax; не калиброванная вероятностьehtimollik emas, ishonch ko‘rsatkichi
ИИ против МОAI vs MLмашинное обучение — раздел ИИ; здесь исследуются обученные классификаторыmashinali o‘qitish — AI ning bir qismi

13Мультимодальное расширение: общий протокол

С 19.11.2026 к пилоту добавлены лаборатории текста, аудио и табличных данных, а изображения описаны в той же схеме на странице модальности. Это расширение, а не часть измерений пилота: тема работы, данные пилота, его чекпоинты, CSV и выводы не менялись; новые прогоны имеют свои даты, файлы и манифест.

Обозначения для модальности m

x, y
чистый вход и его метка; fs — источник, ft — цель, обе модели решают одну задачу с одним пространством меток
As(x; θ)
атака, использующая только разрешённый доступ к источнику (градиент или запросы); цель оценивается после построения входа
Cm(x)
множество допустимых изменений, своё для каждой модальности и проверяемое отдельной функцией: L∞-шар в пикселях; словарь замен и правила символов в тексте; L∞ и SNR ≥ 20 дБ для волны; схема признаков для таблиц
Jm(s,t)
{ i : fs(xi) = yi ∧ ft(xi) = yi }; внутри J счётчики nab: a — ошибка источника, b — ошибка цели на построенном входе

Метрики и правила знаменателей

ошибка цели = (n01 + n11) / |J| = 1 − Qtransfer (в пилоте — T_joint)успех на источнике = (n10 + n11) / |J|; Tcond = n11 / (n10 + n11)R = ошибка цели на контроле того же бюджета; Δ = ошибка цели − R (п.п.)
  • Пустое J даёт N/A, а не 0; если на источнике нет ни одного успеха, Tcond — N/A.
  • Кандидат, не прошедший проверку Cm, не считается успехом: он исключается из Jvalid, а их число показывается отдельно (доля допустимых).
  • Пример n01 (ошиблась только цель) входит в ошибку цели, но не является переносом успешной атаки.
  • Контроль строится в бюджете своей модальности: случайные знаки ±ε для пикселей и волны, то же число случайных допустимых правок для текста и таблиц.
  • Все агрегаты хранимых прогонов пересчитываются из строк по каждому примеру (проверка схемы NIR_MM.validateRun); фильтрация сохранённого прогона — не новое вычисление.

Неопределённость и сходство представлений

Пары моделей делят одни и те же примеры, а три seed меняют разбиение, инициализацию и порядок обучения одновременно, поэтому p-value по числу строк не вычисляются; интервал Уилсона приводится только как утверждение об одной фиксированной паре. CKA вычисляется только для моделей одной задачи с настоящими скрытыми представлениями на одних и тех же примерах; для линейных моделей без скрытого слоя она не применяется, и между модальностями значения CKA не сравниваются.

Классы доказательств: LIVE COMPUTATION — расчёт в браузере сейчас (на страницах пилота — REAL COMPUTATION); VERIFIED RUN — сохранённый прогон со строками и хэшами (у пилота — строки CSV пакета); ILLUSTRATIVE — схема; NOT IMPLEMENTED — описание будущей работы. Сводка по модальностям и таксономия угроз — на странице сравнения.

Kengaytma 19.11.2026 da qo‘shilgan: matn, audio va jadval laboratoriyalari. Har bir modallikda ruxsat etilgan o‘zgarishlar alohida tekshiriladi; metrikalar J ichida, nol maxraj — N/A. Pilot ma’lumotlari va xulosalari o‘zgartirilmagan.