Модальность · Аудио
Аудио · Возмущения сигнала и перенос атак
Как ограниченное изменение формы волны влияет на два аудиоклассификатора и переносится ли атака, построенная на одном, на другой?
Четыре класса сигналов по 0,256 с (тон, свип, АМ-тон, полосовой шум) с известными правилами генерации — не записи, не речь и не распознавание речи; выводы о реальных аудиосистемах отсюда не следуют.
Ma’lumotlar sintetik: 0,256 soniyalik to‘rt sinf signali (ton, svip, AM-ton, polosali shovqin) ma’lum qoidalar bo‘yicha yaratilgan. Bu yozuv ham, nutq ham, nutqni tanish (ASR) ham emas.
ПримерMisolтест · 400 клипов
класс по правилам генерации: —
Пара моделейModellar juftligi
Атака и бюджетHujum va byudjetL∞ + SNR
Допустимо: ‖δ‖∞ ≤ ε, |x′| ≤ 1 и SNR ≥ 20 дБ; если SNR меньше, δ уменьшается целиком. Точкой отмечены ε с сохранённым прогоном.
Загрузка…
Форма волны: исходный x и атакованный x′; ниже — возмущение δ в своём масштабе
Наведите курсор на график: время, x, x′ и δ в этой точке
x — исходный · x′ — после атаки · δ = x′ − x (пунктир — ±ε). При увеличении клик по графику сдвигает окно.
Прослушать A/B Web Audio API, только по нажатию; громкость не выше 0,25
Спектрограммы x, x′ и δ в одной шкале дБ
x — исходный
x′ — после атаки
δ — возмущение
Наведите курсор на спектрограмму: время, частота и уровни x, x′ и δ
Кадр 256 отсчётов, шаг 32, окно Ханна; частота 0…4000 Гц снизу вверх; шкала от −80 дБ до максимума x (цветовая шкала viridis). Только для глаз: модели видят 40 полос спектра всего клипа (SPEC) или 29 кадров × 24 полосы (STFT).
Проверка ограничений кандидатаCheklovlarni tekshirish
Трасса атаки на источникешаги, потери, ответ, бюджет
Сигнал словамиизмеренные частоты и энергия по времени — замена графикам
Hammasi brauzeringizda hisoblanadi: klip (seed, raqam) bo‘yicha qayta yaratiladi, manba modelning gradienti bilan buziladi, keyin nishon model faqat tayyor signalni baholaydi. ε = 0 — signal o‘zgarmaydi.
01
Популяция: 400 клипов, все направленные пары
Как часто атака источника меняет решение цели — и насколько это чаще, чем при случайном шуме того же бюджета?
сохранённый прогон · seed, атака и ε — как в рабочей области
Ошибка цели (T_joint) для всех направленных пар
Строка — источник (на нём строится атака), столбец — цель. Под процентом — (n01 + n11)/|J|. Клик по ячейке выбирает пару в рабочей области.
Выбранная пара
Зависимость от ε для выбранной пары и seed
ошибка цели · FGSMошибка цели · PGD-10успех на источнике · FGSMконтроль R (±ε)
Только точки сохранённой сетки ε ∈ {0,002; 0,005; 0,01; 0,02}; между ними ничего не интерполируется. SNR — медиана по 400 клипам после проекции.
Matritsa — saqlangan hisob: har bir juftlik uchun nishon xatosi (T_joint) J ichida. Nazorat R — xuddi shu ±ε, lekin tasodifiy belgilar bilan. «Qayta hisoblash» tugmasi xuddi shu kodni brauzerda ishlatib, saqlangan qatorlar bilan solishtiradi.
02
Повторы по seed и неопределённость
Насколько числа выбранной пары меняются при другом seed данных, разбиения и обучения?
Три seed — три полных повтора (новые данные, новое обучение), но пары моделей и клипы внутри повтора зависимы. Поэтому p-value не вычисляются; интервал Вильсона относится только к одной фиксированной паре на этих 400 клипах и ничего не говорит о других моделях или данных.
Сходство представлений (linear CKA)
CKA сравнивает геометрию активаций двух моделей на одних и тех же 400 клипах. Она симметрична и не объясняет, почему перенос A → B отличается от B → A; одна пара не позволяет судить о связи CKA с переносом.
Uch seed — uch to‘liq takror. Juftliklar bog‘liq, shuning uchun p-qiymat hisoblanmaydi. CKA faqat yashirin qatlami bor ikki model uchun (SPEC-MLP va STFT-CNN) hisoblanadi.
03
Что можно заключить
Что подтверждают сохранённые прогоны, а что остаётся гипотезой?
Tasdiqlangan: hujum manba modelni aldaydi va nishonga ham ko‘chadi, tasodifiy shovqindan ko‘proq. Tasdiqlanmagan: tinglovchi uchun sinf o‘zgarmaganligi, nutq va haqiqiy tizimlarga umumlashtirish.
04
Методика
Что именно измеряется, при каких допущениях и в каком порядке?
Цель
Проверить, меняет ли ограниченное по амплитуде возмущение формы волны, построенное по градиенту одного аудиоклассификатора (источника), решение другого, независимо обученного классификатора (цели), и насколько чаще, чем случайное возмущение того же бюджета.
Maqsad: manba modelning gradienti bo‘yicha qurilgan cheklangan buzilish boshqa modelni ham aldaydimi va bu tasodifiy shovqindan qanchalik ko‘p.
Объект, предмет и границы
Объект — три классификатора синтетических сигналов: SPEC-LR (логистическая регрессия по 40 логарифмическим полосам спектра всего клипа), SPEC-MLP (MLP 40 → 32 → 4 по тем же полосам) и STFT-CNN (две одномерные свёртки по 29 кадрам × 24 полосы). Предмет — перенос атаки FGSM/PGD-10 между ними при ограничениях на амплитуду и SNR. Границы: только классификация 0,256 с сигналов на 4 класса; ни речь, ни распознавание речи, ни передача звука через динамик и микрофон не рассматриваются.
Obyekt — uch klassifikator; predmet — FGSM/PGD hujumining ular orasida ko‘chishi; chegaralar — faqat 0,256 s sintetik signallar.
Модель угроз
Знания и возможности атакующего: полный доступ к источнику (веса, признаки, градиент функции потерь по форме волны) и знание истинного класса; к цели доступа нет — ни градиентов, ни запросов во время построения атаки. Цель атакующего — ненаправленная ошибка: любой неверный класс. Что он может менять — каждый отсчёт клипа не больше чем на ε, без выхода за [−1, 1] и при SNR ≥ 20 дБ относительно исходного клипа. Контекст оценки — цель получает уже готовый сигнал x′ (перенос, black-box по отношению к цели).
Hujumchi manbani to‘liq biladi (oq quti), nishonni bilmaydi (qora quti). Har bir namuna ε dan ko‘p o‘zgarmaydi, SNR ≥ 20 dB.
Математическая постановка
L — кросс-энтропия с истинным классом. Признаки — логарифмы энергий в треугольных полосах спектра; градиент по форме волны выведен аналитически: для мощности Pk = |Xk|2 спектра окна w получаем ∂L/∂xn = 2·wn·Re Σk gk·conj(Xk)·e−2πikn/N, где gk = ∂L/∂Pk. Проекция ΠC всегда даёт допустимую точку, но не является евклидовой проекцией на пересечение ограничений.
Ruxsat etilgan to‘plam: ‖δ‖∞ ≤ ε, x+δ ∈ [−1,1], SNR ≥ 20 dB. FGSM — bitta qadam, PGD-10 — o‘nta qadam proyeksiya bilan.
Порядок эксперимента
- Для каждого seed (42, 43, 44) генерируются 2000 обучающих и 400 тестовых клипов (по 500 и 100 на класс); SHA-256 записываются в features.json.
- Три модели обучаются на признаках обучающих клипов с заранее фиксированными гиперпараметрами (Adam, без подбора по тесту); повторное обучение даёт побитно те же веса.
- Веса экспортируются в float32; эталонные логиты и градиенты (PyTorch) вычисляются из экспортированных весов, и браузерный движок обязан их воспроизвести.
- Для каждого источника, атаки и ε атакуется каждый тестовый клип; результат проверяет независимый контролёр ограничений; затем x′ и контрольный сигнал подаются двум другим моделям.
- Метрики считаются по строкам «клип × пара» только на J; файл прогона проходит проверку схемы, при которой все агрегаты пересчитываются из строк.
Tartib: ma’lumot yaratish → o‘qitish → vaznlarni eksport qilish → har bir klipni hujum qilish va tekshirish → metrikalarni qatorlardan hisoblash.
Показатели
J — клипы, которые и источник, и цель классифицировали верно до атаки. Внутри J: n11 — обе модели обмануты, n10 — только источник, n01 — только цель, n00 — ни одна.
Нулевой знаменатель даёт N/A, а не 0. Каждая доля показана вместе с числителем и знаменателем.
T_joint — nishon xatosi J ichida; T_cond — manbani aldagan hujumlar ichida nishonni ham aldaganlar ulushi; maxraj 0 bo‘lsa N/A.
Контрольные условия
Контроль — случайные знаки ±ε для каждого отсчёта с той же проекцией (клиппинг и SNR ≥ 20 дБ). Он совпадает с FGSM по L∞ и по L2 и отличается только направлением; для PGD-10 контроль не слабее по L2. Семя контроля зависит от seed, номера клипа и ε, но не от источника, поэтому R одинаково для FGSM и PGD-10. Контроль показывает, что ошибка цели вызвана направлением градиента источника, а не просто наличием возмущения; он не доказывает устойчивость модели к любым возмущениям.
Nazorat — xuddi shu ±ε, lekin tasodifiy belgilar. U faqat yo‘nalish ta’sirini ajratadi.
Ограничения
- Данные синтетические, классы просты и заданы правилами; это не речь и не ASR (в отличие от Carlini и Wagner, 2018, и Qin et al., 2019).
- Сохранение класса при SNR ≥ 20 дБ — допущение; прослушивания людьми не было, незаметность возмущения не установлена.
- Три малые модели, обученные одним способом на одном генераторе: перенос между ними не характеризует промышленные аудиомодели.
- Пары и клипы зависимы; три seed — немного; CKA измерена для одной пары моделей.
- В браузере вычисления идут в float64; в других движках JavaScript последние биты Math.sin/exp могут отличаться — сравнение с сохранёнными строками это покажет.
05
Источники и воспроизведение
Откуда данные, какие файлы и команды дают те же числа?
Данные и модели
Генератор данных — функция generateClip(seed, split, index) в audio-engine.js: её код и есть определение набора. Тестовые волны каждого seed хэшируются (SHA-256 по int16); эту проверку можно повторить в браузере.
Файлы: summary.json, прогоны s42 · s43 · s44, features.json (окна, фильтры, хэши данных), curated.json; эталоны PyTorch — grad_s42.json.
Команды
node scripts/research/multimodal/gen-audio.mjsPYTHONUTF8=1 python scripts/research/multimodal/train_audio.pynode scripts/research/multimodal/run-audio.mjsnode --test tests/mm-audio.test.mjs
Прогон 19.11.2026 (Node 24, Windows 11; обучение — Python 3.14, PyTorch 2.15 CPU). Повторное обучение даёт побитно те же веса; повтор прогона — те же строки.
Литература (контекст метода, не наши результаты)
- Goodfellow I. J., Shlens J., Szegedy C. Explaining and Harnessing Adversarial Examples. ICLR 2015. arXiv:1412.6572 — FGSM.
- Madry A., Makelov A., Schmidt L., Tsipras D., Vladu A. Towards Deep Learning Models Resistant to Adversarial Attacks. ICLR 2018. arXiv:1706.06083 — PGD.
- Carlini N., Wagner D. Audio Adversarial Examples: Targeted Attacks on Speech-to-Text. 2018 IEEE Security and Privacy Workshops (SPW). DOI 10.1109/SPW.2018.00009 — направленная атака на распознавание речи (DeepSpeech); здесь не воспроизводится.
- Qin Y., Carlini N., Cottrell G., Goodfellow I., Raffel C. Imperceptible, Robust, and Targeted Adversarial Examples for Automatic Speech Recognition. ICML 2019, PMLR 97:5231–5240. proceedings.mlr.press — психоакустическое маскирование; показывает, почему SNR — не мера незаметности.
- Kornblith S., Norouzi M., Lee H., Hinton G. Similarity of Neural Network Representations Revisited. ICML 2019, PMLR 97:3519–3529. proceedings.mlr.press — linear CKA.
Метаданные сверены 19.11.2026 по страницам издателей. Метрики этих работ к нашему синтетическому эксперименту не относятся.
06
Разбор для преподавателя
Десять шагов по рабочей области и ответы на вероятные вопросы — с местом в коде.