Структура вчитель-учень для адаптації доменів у ансамблевій аудіовізуальній детекції дипфейків
https://ift.tt/tIyoTDk
Швидке просування моделей генеративного ШІ призводить до появи все більш реалістичних медіа дипфейків, які охоплюють маніпуляцію аудіо, відео або обох modality. Це викликає серйозні занепокоєння щодо приватності та суспільства. Багато досліджень у цій галузі дають перспективні результати в рамках одного домену; однак ці моделі часто демонструють знижену ефективність при роботі з даними з різних доменів. Відтак нещодавні підходи до детекції дипфейків зосереджені на покращенні узагальнюваності через множинні техніки, що враховують усі входові модальності, включаючи аудіо, зображення та їх взаємодії. У цьому контексті ми пропонуємо метод EAV-DFD, узагальнену модель глибокого ансамблю аудіовізуального аналізу (EAV-DFD) у поєднанні з механізмом адаптації домену за допомогою рамки вчитель-учень, щоб підвищити здатність моделі працювати й узгоджено узагальнюватися на невідомих доменах. Для оцінки продуктивності моделі ми використали датасет FakeAVCeleb як основний домен, а датасети DFDC, Deepfake_TIMIT та PolyGlotFake — як невідомі домени. Наші експериментальні результати демонструють, що запропонований фреймворк ефективний у адаптації доменів, покращуючи показник AUC моделі на 4.09%, 17.94% та 0.5% на трьох невідомих датасетах, використовуючи лише невеликий їх частину для навчання учнівської моделі. Це призводить до нової моделі детекції дипфейків, здатної адаптуватися до нових доменів та інтерпретувати, яка модальність була маніпульована, підкреслюючи потенціал нашого підходу для реальних застосувань.
HI-FI News
через Штучний Інтелект https://ift.tt/io90GuB
16 червня 2026 р. о 06:14 ранку
June 16, 2026 at 06:14AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.