DEAF: Бенчмарк для діагностичної оцінки аудіоакустичної вірогідності в аудіо-мовних моделях
https://ift.tt/4fmxaOU
Нещодавні багато modality Audio Large Language Models (Audio MLLMs) демонструють вражаючі результати на задачах з мови, однак залишається невизначеним, чи ці моделі дійсно обробляють акустичні сигнали, чи покладаються на семантичне висновування з тексту. Для систематичного вивчення цього питання ми вводимо DEAF (Діагностична оцінка акустичної вірогідності) — бенчмарк із понад 2 700 конфліктних стимулів, що охоплюють три акустичні виміри: емоційну просодію, фонові звуки та ідентичність спікера. Потім ми розробляємо контрольовану багаторівневу рамку оцінки, яка послідовно збільшує вплив тексту, від семантичних конфліктів у змісті до вводящих prompts та їх комбінацій, дозволяючи розділити упередженість щодо змісту від підграду prompts. Ми також запроваджуємо діагностичні метрики для кількісної оцінки залежності моделі від текстових ознак над акустичними сигналами. Наша оцінка семи Audio MLLMs виявляє послідовну тенденцію домінування тексту: моделі чутливі до акустичних варіацій, проте прогнози здебільшого зумовлені текстовими входами, що виявляє розрив між високою продуктивністю на стандартних задачах мови та справжнім акустичним розумінням.
HI-FI News
через Штучний Інтелект https://ift.tt/QrNkzCh
20 березня 2026 р. о 04:14 год. Local Ukrainian translation provided.
March 20, 2026 at 04:14AM
Залишити відповідь