AQUA-Bench: Від пошуку відповідей до знання того, коли відповідей немає в аудіопитаннях
https://ift.tt/WvBxHRY
Останні досягнення в аудіо-обізнаних великих мовних моделях демонструють високу продуктивність у задачах аудіопитань. Проте існуючі набори тестів здебільшого охоплюють питання, на які можна дати відповідь, і не зважають на виклик нездатності відповісти, коли з аудіо неможливо зробити надійну висновок. Такі випадки часто трапляються у реальних умовах, де питання можуть бути вводящими в оману, некоректно сформульованими або несумісними з наданою інформацією. Щоб заповнити цей розрив, ми презентуємо AQUA-Bench, набір тестів для оцінки неможливості відповідати на аудіопитання. Він систематично оцінює три сценарії: Виявлення відсутньої відповіді (правильний варіант відсутній), Виявлення несумісного набору відповідей (варіанти категорично не відповідають питанню), та Виявлення несумісного аудіопитання (питання не відноситься або не має достатнього підґрунтя в аудіо). Оцінюючи ці випадки, AQUA-Bench забезпечує сувору міру надійності моделей і сприяє розвитку аудіо-мовних систем, які є більш стійкими та надійними. Наші експерименти свідчать, що хоча моделі демонструють відмінні результати у стандартних завданнях з відповіддю, вони часто стикаються з помітними труднощами з неповними відповідями, вказуючи на сліпу пляму в сучасному аудіо-мовному розумінні.
HI-FI News
за допомогою штучного інтелекту https://ift.tt/oEelRtO
21 січня 2026 р. о 05:52
January 21, 2026 at 05:52AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.