AHA: Узгодження великих аудіо-мовних моделей для помилок у міркуваннях через контрафактуальні важкі негативи
Хоча великі аудіо-мовні моделі (LALMs) демонструють найсучасніші показники, вони часто страждають від галюцинацій, наприклад, генеруючи текст, який не ґрунтується на аудіо-вході. Ми аналізуємо ці невдачі в ґрунтуванні і визначаємо чітку таксономію: Пропуск події, Хибна ідентичність події, Помилка часових відносин і Кількісна тимчасова помилка. Щоб вирішити цю проблему, ми впроваджуємо фреймворк AHA (Узгодження аудіо-глюкацій). Використовуючи контрафактуальне важке негативне видобуток, наш pipeline створює набір даних з високою якістю переваги, який змушує моделі розрізняти суворі акустичні докази та лінгвістично правдоподібні фабрикації. Крім того, ми встановлюємо AHA-Eval, діагностичний еталон, призначений для ретельного тестування цих тонких здібностей до тимчасового міркування. Ми застосовуємо ці дані для узгодження Qwen2.5-Omni. Результуюча модель, Qwen-Audio-AHA, досягає покращення на 13.7% на AHA-Eval. Що важливо, ця вигода переходить за межі нашого діагностичного набору. Наша модель демонструє суттєві покращення на загальнодоступних еталонах, включаючи 1.3% на MMAU-Test і 1.6% на MMAR, перевершуючи останні сучасні методи.
January 1, 2026 at 04:11AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.