ReasonAudio: Бенчмарк для оцінки мислення за межами простого відповідності у текстово-о audio-збірці
https://ift.tt/ZO4lEmJ
У міру того як мультимодальний контент швидко зростає, аудіо-пошук став ключовою технологією для медіа-пошуку, організації контенту та розумних помічників. Однак більшість існуючих бенчмарків зосереджені на семантичній відповідності та не враховують того факту, що реальні запити часто вимагають розвиненого мислення, зокрема розуміння заперечення, хронологічного порядку, одночасного розпізнавання подій та визначення тривалості. Щоб заповнити цей проміжок, ми представляємо ReasonAudio — перший бенчмарк з акцентом на мислення для завдань пошуку за текстом за аудіо, який складається з 1 000 запитів та 10 000 складових аудіокліпів у п’ятьох базових завданнях мислення: Заперечення, Порядок, Перехід, Тривалість та Мікс. Незважаючи на їх інтуїтивність для людей і просту побудову, ці завдання становлять значні труднощі для сучасних моделей. Наше оцінювання десяти передових моделей показало такі висновки: усі моделі мають труднощі з мисленням у аудіо-пошуковій інформації, особливо погано — з запереченням та тривалістю, тоді як у відносно кращих результатах вони демонструють на overl ап та порядок. Більше того, ембеддінгові моделі на базі мультимодальних великих мовних моделей не вдається успадкувати мислення своїх базових моделей через контрастивне тонування, що свідчить про те, що поточні навчальні парадигми недостатні для збереження мислової здатності в умовах пошуку
HI-FI News
через штучний інтелект https://ift.tt/i5BGEek
6 травня 2026 р. 05:21 (за місцевим часом)
May 6, 2026 at 05:21AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.