Модальность · Аудио

Аудио · Возмущения сигнала и перенос атак

Как ограниченное изменение формы волны влияет на два аудиоклассификатора и переносится ли атака, построенная на одном, на другой?

  • LIVE COMPUTATION
  • VERIFIED RUN
  • SYNTHETIC DATA
Синтетические данные · не речь

Четыре класса сигналов по 0,256 с (тон, свип, АМ-тон, полосовой шум) с известными правилами генерации — не записи, не речь и не распознавание речи; выводы о реальных аудиосистемах отсюда не следуют.

Ma’lumotlar sintetik: 0,256 soniyalik to‘rt sinf signali (ton, svip, AM-ton, polosali shovqin) ma’lum qoidalar bo‘yicha yaratilgan. Bu yozuv ham, nutq ham, nutqni tanish (ASR) ham emas.

ПримерMisolтест · 400 клипов

класс по правилам генерации: —

Отобранные клипы по одному на исход

Пара моделейModellar juftligi

Источник — по нему считается градиент (white-box)
Цель — получает только готовый сигнал (black-box)

Атака и бюджетHujum va byudjetL∞ + SNR

Допустимо: ‖δ‖∞ ≤ ε, |x′| ≤ 1 и SNR ≥ 20 дБ; если SNR меньше, δ уменьшается целиком. Точкой отмечены ε с сохранённым прогоном.

Загрузка…

истинный класс: – …

Рис. 1

Форма волны: исходный x и атакованный x′; ниже — возмущение δ в своём масштабе

Наведите курсор на график: время, x, x′ и δ в этой точке

x — исходный · x′ — после атаки · δ = x′ − x (пунктир — ±ε). При увеличении клик по графику сдвигает окно.

Прослушать A/B Web Audio API, только по нажатию; громкость не выше 0,25

Рис. 2

Спектрограммы x, x′ и δ в одной шкале дБ

x — исходный

x′ — после атаки

δ — возмущение

Наведите курсор на спектрограмму: время, частота и уровни x, x′ и δ

Кадр 256 отсчётов, шаг 32, окно Ханна; частота 0…4000 Гц снизу вверх; шкала от −80 дБ до максимума x (цветовая шкала viridis). Только для глаз: модели видят 40 полос спектра всего клипа (SPEC) или 29 кадров × 24 полосы (STFT).

Проверка ограничений кандидатаCheklovlarni tekshirish

Трасса атаки на источникешаги, потери, ответ, бюджет
Сигнал словамиизмеренные частоты и энергия по времени — замена графикам

Hammasi brauzeringizda hisoblanadi: klip (seed, raqam) bo‘yicha qayta yaratiladi, manba modelning gradienti bilan buziladi, keyin nishon model faqat tayyor signalni baholaydi. ε = 0 — signal o‘zgarmaydi.

01

Популяция: 400 клипов, все направленные пары

Как часто атака источника меняет решение цели — и насколько это чаще, чем при случайном шуме того же бюджета?

сохранённый прогон · seed, атака и ε — как в рабочей области

Рис. 3

Ошибка цели (T_joint) для всех направленных пар

Строка — источник (на нём строится атака), столбец — цель. Под процентом — (n01 + n11)/|J|. Клик по ячейке выбирает пару в рабочей области.

Выбранная пара

Рис. 4

Зависимость от ε для выбранной пары и seed

ошибка цели · FGSMошибка цели · PGD-10успех на источнике · FGSMконтроль R (±ε)

Только точки сохранённой сетки ε ∈ {0,002; 0,005; 0,01; 0,02}; между ними ничего не интерполируется. SNR — медиана по 400 клипам после проекции.

Matritsa — saqlangan hisob: har bir juftlik uchun nishon xatosi (T_joint) J ichida. Nazorat R — xuddi shu ±ε, lekin tasodifiy belgilar bilan. «Qayta hisoblash» tugmasi xuddi shu kodni brauzerda ishlatib, saqlangan qatorlar bilan solishtiradi.

02

Повторы по seed и неопределённость

Насколько числа выбранной пары меняются при другом seed данных, разбиения и обучения?

Как читать

Три seed — три полных повтора (новые данные, новое обучение), но пары моделей и клипы внутри повтора зависимы. Поэтому p-value не вычисляются; интервал Вильсона относится только к одной фиксированной паре на этих 400 клипах и ничего не говорит о других моделях или данных.

Сходство представлений (linear CKA)

CKA сравнивает геометрию активаций двух моделей на одних и тех же 400 клипах. Она симметрична и не объясняет, почему перенос A → B отличается от B → A; одна пара не позволяет судить о связи CKA с переносом.

Uch seed — uch to‘liq takror. Juftliklar bog‘liq, shuning uchun p-qiymat hisoblanmaydi. CKA faqat yashirin qatlami bor ikki model uchun (SPEC-MLP va STFT-CNN) hisoblanadi.

03

Что можно заключить

Что подтверждают сохранённые прогоны, а что остаётся гипотезой?

Tasdiqlangan: hujum manba modelni aldaydi va nishonga ham ko‘chadi, tasodifiy shovqindan ko‘proq. Tasdiqlanmagan: tinglovchi uchun sinf o‘zgarmaganligi, nutq va haqiqiy tizimlarga umumlashtirish.

04

Методика

Что именно измеряется, при каких допущениях и в каком порядке?

Цель

Проверить, меняет ли ограниченное по амплитуде возмущение формы волны, построенное по градиенту одного аудиоклассификатора (источника), решение другого, независимо обученного классификатора (цели), и насколько чаще, чем случайное возмущение того же бюджета.

Maqsad: manba modelning gradienti bo‘yicha qurilgan cheklangan buzilish boshqa modelni ham aldaydimi va bu tasodifiy shovqindan qanchalik ko‘p.

Объект, предмет и границы

Объект — три классификатора синтетических сигналов: SPEC-LR (логистическая регрессия по 40 логарифмическим полосам спектра всего клипа), SPEC-MLP (MLP 40 → 32 → 4 по тем же полосам) и STFT-CNN (две одномерные свёртки по 29 кадрам × 24 полосы). Предмет — перенос атаки FGSM/PGD-10 между ними при ограничениях на амплитуду и SNR. Границы: только классификация 0,256 с сигналов на 4 класса; ни речь, ни распознавание речи, ни передача звука через динамик и микрофон не рассматриваются.

Obyekt — uch klassifikator; predmet — FGSM/PGD hujumining ular orasida ko‘chishi; chegaralar — faqat 0,256 s sintetik signallar.

Модель угроз

Знания и возможности атакующего: полный доступ к источнику (веса, признаки, градиент функции потерь по форме волны) и знание истинного класса; к цели доступа нет — ни градиентов, ни запросов во время построения атаки. Цель атакующего — ненаправленная ошибка: любой неверный класс. Что он может менять — каждый отсчёт клипа не больше чем на ε, без выхода за [−1, 1] и при SNR ≥ 20 дБ относительно исходного клипа. Контекст оценки — цель получает уже готовый сигнал x′ (перенос, black-box по отношению к цели).

Hujumchi manbani to‘liq biladi (oq quti), nishonni bilmaydi (qora quti). Har bir namuna ε dan ko‘p o‘zgarmaydi, SNR ≥ 20 dB.

Математическая постановка
C(x) = { δ : ‖δ‖∞ ≤ ε, x + δ ∈ [−1, 1]2048, SNR(x, δ) = 10·lg(Σx2 / Σδ2) ≥ 20 дБ }FGSM: δ = ΠC( ε · sign ∇x L(fs(x), y) )PGD-10: δk+1 = ΠC( δk + α · sign ∇x L(fs(x + δk), y) ), α = 2,5·ε/10, δ0 = 0ΠC: клиппинг на [−ε, ε] и на [−1, 1], затем умножение на s ≤ 1, если SNR < 20 дБ

L — кросс-энтропия с истинным классом. Признаки — логарифмы энергий в треугольных полосах спектра; градиент по форме волны выведен аналитически: для мощности Pk = |Xk|2 спектра окна w получаем ∂L/∂xn = 2·wn·Re Σk gk·conj(Xk)·e−2πikn/N, где gk = ∂L/∂Pk. Проекция ΠC всегда даёт допустимую точку, но не является евклидовой проекцией на пересечение ограничений.

Ruxsat etilgan to‘plam: ‖δ‖∞ ≤ ε, x+δ ∈ [−1,1], SNR ≥ 20 dB. FGSM — bitta qadam, PGD-10 — o‘nta qadam proyeksiya bilan.

Порядок эксперимента
  1. Для каждого seed (42, 43, 44) генерируются 2000 обучающих и 400 тестовых клипов (по 500 и 100 на класс); SHA-256 записываются в features.json.
  2. Три модели обучаются на признаках обучающих клипов с заранее фиксированными гиперпараметрами (Adam, без подбора по тесту); повторное обучение даёт побитно те же веса.
  3. Веса экспортируются в float32; эталонные логиты и градиенты (PyTorch) вычисляются из экспортированных весов, и браузерный движок обязан их воспроизвести.
  4. Для каждого источника, атаки и ε атакуется каждый тестовый клип; результат проверяет независимый контролёр ограничений; затем x′ и контрольный сигнал подаются двум другим моделям.
  5. Метрики считаются по строкам «клип × пара» только на J; файл прогона проходит проверку схемы, при которой все агрегаты пересчитываются из строк.

Tartib: ma’lumot yaratish → o‘qitish → vaznlarni eksport qilish → har bir klipni hujum qilish va tekshirish → metrikalarni qatorlardan hisoblash.

Показатели

J — клипы, которые и источник, и цель классифицировали верно до атаки. Внутри J: n11 — обе модели обмануты, n10 — только источник, n01 — только цель, n00 — ни одна.

ошибка цели (T_joint) = (n01 + n11) / |J|успех на источнике = (n10 + n11) / |J|условный перенос T_cond = n11 / (n10 + n11) — N/A, если знаменатель 0Δ = ошибка цели − R, где R — ошибка цели на контроле ±ε

Нулевой знаменатель даёт N/A, а не 0. Каждая доля показана вместе с числителем и знаменателем.

T_joint — nishon xatosi J ichida; T_cond — manbani aldagan hujumlar ichida nishonni ham aldaganlar ulushi; maxraj 0 bo‘lsa N/A.

Контрольные условия

Контроль — случайные знаки ±ε для каждого отсчёта с той же проекцией (клиппинг и SNR ≥ 20 дБ). Он совпадает с FGSM по L∞ и по L2 и отличается только направлением; для PGD-10 контроль не слабее по L2. Семя контроля зависит от seed, номера клипа и ε, но не от источника, поэтому R одинаково для FGSM и PGD-10. Контроль показывает, что ошибка цели вызвана направлением градиента источника, а не просто наличием возмущения; он не доказывает устойчивость модели к любым возмущениям.

Nazorat — xuddi shu ±ε, lekin tasodifiy belgilar. U faqat yo‘nalish ta’sirini ajratadi.

Ограничения
  • Данные синтетические, классы просты и заданы правилами; это не речь и не ASR (в отличие от Carlini и Wagner, 2018, и Qin et al., 2019).
  • Сохранение класса при SNR ≥ 20 дБ — допущение; прослушивания людьми не было, незаметность возмущения не установлена.
  • Три малые модели, обученные одним способом на одном генераторе: перенос между ними не характеризует промышленные аудиомодели.
  • Пары и клипы зависимы; три seed — немного; CKA измерена для одной пары моделей.
  • В браузере вычисления идут в float64; в других движках JavaScript последние биты Math.sin/exp могут отличаться — сравнение с сохранёнными строками это покажет.

05

Источники и воспроизведение

Откуда данные, какие файлы и команды дают те же числа?

Данные и модели

Генератор данных — функция generateClip(seed, split, index) в audio-engine.js: её код и есть определение набора. Тестовые волны каждого seed хэшируются (SHA-256 по int16); эту проверку можно повторить в браузере.

Файлы: summary.json, прогоны s42 · s43 · s44, features.json (окна, фильтры, хэши данных), curated.json; эталоны PyTorch — grad_s42.json.

Команды

node scripts/research/multimodal/gen-audio.mjsPYTHONUTF8=1 python scripts/research/multimodal/train_audio.pynode scripts/research/multimodal/run-audio.mjsnode --test tests/mm-audio.test.mjs

Прогон 19.11.2026 (Node 24, Windows 11; обучение — Python 3.14, PyTorch 2.15 CPU). Повторное обучение даёт побитно те же веса; повтор прогона — те же строки.

Литература (контекст метода, не наши результаты)

  • Goodfellow I. J., Shlens J., Szegedy C. Explaining and Harnessing Adversarial Examples. ICLR 2015. arXiv:1412.6572 — FGSM.
  • Madry A., Makelov A., Schmidt L., Tsipras D., Vladu A. Towards Deep Learning Models Resistant to Adversarial Attacks. ICLR 2018. arXiv:1706.06083 — PGD.
  • Carlini N., Wagner D. Audio Adversarial Examples: Targeted Attacks on Speech-to-Text. 2018 IEEE Security and Privacy Workshops (SPW). DOI 10.1109/SPW.2018.00009 — направленная атака на распознавание речи (DeepSpeech); здесь не воспроизводится.
  • Qin Y., Carlini N., Cottrell G., Goodfellow I., Raffel C. Imperceptible, Robust, and Targeted Adversarial Examples for Automatic Speech Recognition. ICML 2019, PMLR 97:5231–5240. proceedings.mlr.press — психоакустическое маскирование; показывает, почему SNR — не мера незаметности.
  • Kornblith S., Norouzi M., Lee H., Hinton G. Similarity of Neural Network Representations Revisited. ICML 2019, PMLR 97:3519–3529. proceedings.mlr.press — linear CKA.

Метаданные сверены 19.11.2026 по страницам издателей. Метрики этих работ к нашему синтетическому эксперименту не относятся.

06

Разбор для преподавателя

Десять шагов по рабочей области и ответы на вероятные вопросы — с местом в коде.