Інтерпретоване виявлення всіх типів аудіо глибоких фейків з використанням аудіо великих мовних моделей через навчання з підкріпленням у частотній і часовій області
Останні досягнення у великих мовних моделях для аудіо (ALLMs) зробили синтетичне аудіо високої якості широко доступним, що збільшило ризик злоякісних аудіо глибоких фейків у мовленні, навколишніх звуках, співах та музиці. Виявлення аудіо глибоких фейків (ADD) у реальному світі вимагає детекторів для всіх типів, які узагальнюються в межах гетерогенних аудіо та забезпечують інтерпретовані рішення. Виходячи з сильної здатності ALLMs до багатозадачності, ми спочатку досліджуємо їхні можливості в усіх типах ADD під час тонкої налаштування під наглядом (SFT) та навчання з підкріпленням (RFT). Однак SFT з використанням лише бінарних позначок «реальний/фейковий» має тенденцію зменшувати модель до чорної скриньки, жертвуючи інтерпретованістю. Тим часом, звичайне RFT у умовах рідкісного нагляду схильне до маніпуляції нагородами та може створювати ілюзорні, необґрунтовані обгрунтування. Щоб вирішити цю проблему, ми пропонуємо автоматичну аннотацію та покращувальну pipeline, яка будує структурувані за частотою та часом ланцюги міркувань (CoT), які генерують близько 340 тис. демонстрацій для холодного старту. Базуючись на даних CoT, ми пропонуємо Оптимізацію Політики Відносин Час-Форма (FT-GRPO), двоступеневу парадигму навчання, яка починає з SFT і потім застосовує GRPO під правилами на основі частотно-часових обмежень. Експерименти демонструють, що FT-GRPO досягає найкращих показників у всіх типах ADD, одночасно забезпечуючи інтерпретовані, основані на FT обгрунтування. Дані та код доступні онлайн.
January 7, 2026 at 04:13AM
Залишити відповідь