AudioCapBench: Швидка оцінка аудіокапшнінгу для звуків, музики та мови
https://ift.tt/gHpwDIk
Ми вводимо AudioCapBench, бенчмарк для оцінки можливостей аудіокапшнінгу великих мультимодальних моделей. \method охоплює три різні аудіодоменні області, включаючи навколишнє середовище звуків, музику та мову, з 1 000 відібраних зразків оцінювання з established datasets. Ми оцінюємо 13 моделей за двома постачальниками (OpenAI, Google Gemini) використовуючи як базовані на референсі метрики (METEOR, BLEU, ROUGE-L), так і схему LLM як Судді, що оцінює прогнози за трьома ортогональними вимірами: \textit{точність} (семантична коректність), \textit{повнота} (охоплення вмісту з референсу) та \textit{галюцинація} (відсутність вигаданого вмісту). Наші результати показують, що моделі Gemini загалом перевершують моделі OpenAI за загальною якістю підписів, при цьому Gemini~3~Pro досягає найвищого загального балу (6.00/10), тоді як моделі OpenAI демонструють нижчі рівні галюцинацій. Усі моделі демонструють найкращі результати у підписуванні мови та найгірші у підписуванні музики. Ми опубліковуємо бенчмарк та код оцінювання для забезпечення відтворюваних досліджень з розуміння аудіо.
HI-FI News
через Artificial Intelligence https://ift.tt/7lyJ2wE
2 березня 2026 р. 04:11 AM
March 2, 2026 at 04:11AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.