Algorithms, Vol. 19, Pages 549: Spectral Multi-Representation Fusion for Audio Deepfake Detection

Алгоритми, том 19, сторінки 549: Спектральне багатокільорове злиття для виявлення аудіо-дейпфейків
https://ift.tt/hMjE1mO

Алгоритми, том 19, сторінки 549: Спектральне багатокільорове злиття для виявлення аудіо-дейпфейків

Алгоритми doi: 10.3390/a19070549

Автори:
Дора Баллістерос
Даніель Суарес
Сезар Пачон

Системи виявлення аудіо-дейпфейків зазвичай демонструють відмінну внутрішню валідуючу продуктивність, але не здатні узгоджуватися під реальними умовами інференсу з використанням синтетичної мови, згенерованої раніше невідомими інструментами штучного інтелекту. У відповідь на цю обмеженість у роботі запропоновано рамковий підхід Spectral Multi-Representation Fusion (SMRF), який інтегрує кілька спектральних представлень і стратегії об’ємного голосування на рівні прийняття рішень для підвищення стійкості в умовах міждоменного перехресного використання. Додатково запроваджено стратегію Stability-Aware Multi-Metric Selection (SAMMS) для відбору архітектур за спільним врахуванням прогнозної продуктивності та стабільності між представленнями. Запропонований фреймворк оцінювали з використанням чотирьох спектральних представлень (лог-модуль спектрограми LOG, мел-спектрограма MEL, перетворення дискретних хвиль DWT та константно-інтервальне перетворення CQT) у поєднанні з кількома архітектурами згорткових мереж та доповнювальними стратегіями голосування. Експерименти показали, що ізольовані моделі, які демонструють валідуючі метрики понад 95%, можуть мати дуже низькі показники детекції синтетичного аудіо під зовнішнім інференсом (навіть нижче 10%). У порівнянні стратегій злиття значно підвищують стійкість, використовуючи комплементарні ознаки з різних спектральних доменів. Результати також довели, що як стратегія голосування, так і параметр стабільності SAMMS &λstrong; сильно впливають на кінцеву поведінку системи. Зокрема, гібридне злиття за допомогою One-Hard Voting з двома архітектурами, відібраними за &λge;0.25, досягло найкращого балансу між виявленням синтетичного аудіо та збереженням реального аудіо, перевершуючи окремі моделі за умовами міждоменного інференсу з показниками детекції близько 75% як для синтетичного, так і для реального аудіо. Ці висновки свідчать, що стійко‑орієнтовані стратегії злиття є перспективним напрямком підвищення надійності у реалістичних сценаріях виявлення аудіо-шейних фейків.

July 5, 2026 at 11:55AM