Виявлення дипфейків за допомогою аналізу зображень, відео та аудіо: всебічне обстеження з емпіричною оцінкою узагальнення та стійкості
https://ift.tt/swnKhiG
Дипфейки (DFs) стали суттєвою загрозою в останні роки. Їх використано зловмисно для таких цілей, як impersonation (мікшування особи), поширення дезінформації та імітація художнього стилю, що піднімає критичні етичні та безпекові питання. Це оглядове дослідження представляє всеохоплюючий міжмодальний аналіз пасивного виявлення дипфейків, одночасно розглядаючи модальності зображення, відео та аудіо. На відміну від мультимодального виявлення, яке поєднує кілька потоків даних (наприклад, аудіо-відео, текст-відео), наш міжмодальний аналіз досліджує взаємозв’язки, спільні методологічні принципи та загальні вразливості між незалежними модальностями. Ми систематично класифікуємо підходи до виявлення за їхніми базисами: форензик-орієнтовані, данково-орієнтовані, за відбитками (fingerprint) та гібридні техніки для візуальних модальностей, і ручні проти навчальних ознак для аудіо. Також ми виходимо за межі лише точності виявлення, охоплюючи важливі виміри продуктивності для реального розгортання, зокрема узагальнюваність і стійкість. Крім того, цей огляд надає уніфійований протокол оцінювання по 10 популярних наборах даних для оцінки точності виявлення, узагальнюваності та стійкості в кожній модальності. Зокрема, ми проводимо обширні емпіричні оцінювання за трьома критичними вимірами: (1) підтвердження заявленої within-domain точності для 13 одновимірних детекторів, (2) оцінка міждоменної узагальнюваності 33 методів, спеціально розроблених для підвищення здатності узагальнюватися, та (3) оцінка стійкості 6 методів до adversarial-атак. Наші експерименти виявляють постійний розрив узагальнювання, з деградацією продуктивності на 10–15% у сценаріях поза розподілом та вразливість до білокових (white-box) adversarial-атак із показниками успішності понад 80%. Також ми аналізуємо переваги та обмеження наявних наборів даних, бенчмарків та метрик оцінювання для пасивного виявлення дипфейків. Нарешті, ми пропонуємо напрямки майбутніх досліджень для вирішення цих нерозроблених та нових проблем у галузі пасивного виявлення дипфейків. Цей огляд служить всебічним ресурсом для дослідників та практиків, надаючи уявлення про сучасний стан, методологічні підходи та перспективи розвитку в цій швидкоплинній галузі.
HI-FI News
через Latest Results https://ift.tt/4MwOE7d
12 червня 2026 р. 13:38
June 12, 2026 at 01:38PM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.