Злам аудіо великих мовних моделей, атакуючи лише енкодер: універсальна цілеспрямована атака на латентний простір аудіо
Аудіо-мовні моделі поєднують аудіо-енкодери з великими мовними моделями для забезпечення мультимодального мислення, але також вводять нові ризики безпеки. Ми пропонуємо універсальну цілеспрямовану атаку на латентний простір – атаку на рівні енкодера, яка маніпулює латентними репрезентаціями аудіо, щоб викликати виходи, вказані атакуючим, в подальшій генерації мови. На відміну від попередніх атак на рівні хвильових форм або конкретних входів, наш підхід навчає універсальне порушення, яке узагальнюється на різні входи та дикторів і не вимагає доступу до мовної моделі. Експерименти на Qwen2-Audio-7B-Instruct показують послідовно високі показники успіху атаки з мінімальними перцепційними спотвореннями, виявляючи критичну та раніше менш досліджену поверхню атаки на рівні енкодера мультимодальних систем.
January 1, 2026 at 04:11AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.