PitchBench: вимірювання слуху на висоту тону в аудіо-мовних моделях
https://ift.tt/9MxzVEJ
Моделі аудіо-мови (ALM) все частіше використовуються у реальних застосунках, які потребують розуміння музики, від навчання та транскрипції до підказок, систем рекомендацій та музичного виробництва. Ширше кажучи, вони стають важливою частиною мультимодальних систем ШІ, які повинні розуміти сенсорний вхід, а не лише текст. Це робить надійне музичне сприйняття критичною передумовою: якщо модель не може точно «чути» структуру звуку, її не можна довіряти у міркуваннях про аудіо в реальному світі, навчанні, транскрипції або діях. Проте існуючі бенчмарки рідко оцінюють одну з найосновніших музичних здібностей, яка лежить в основі такого сприйняття: висоту тону. Поточні оцінювання зазвичай досліджують слух висоти тону лише опосередковано, через завдання більш високого рівня та часто у форматах з множинним вибором, залишаючи нез’ясованим, наскільки надійно ALM розпізнають тон на фантомному рівні серед інструментів, акустичних умов та форматів відповідей. Ми представляємо PitchBench, набір оцінок, що систематично вимірює слух висоти тону в ALM. PitchBench складається з 28 експериментів, що охоплюють як абсолютне, так і відносне сприйняття висоти тону в послідовностях та акордах, при варіюванні гучності, тривалості нот, джерела звуку, розтягнення часу, фонового шуму та інших акустичних умов. Завдання варіюються від ідентифікації окремих тонів ізольовано до відстеження мелодійної лінії всередині чотиризвучної музичної текстури. Оцінюючи передові ALM, ми виявляємо, що слух висоти тону залишається надзвичайно ненадійним: моделі стабільно погано працюють у різних середовищах, більшість точності різко залежить від джерела звуку, тривалості нот та формату нотації. Поточні ALM ще не мають стабільного сприйняття висоти тону, навіть для контрольованих синтетичних та інструментальних стимулів. Разом із бенчмарком ми випускаємо PitchBench як пакет Python, що містить дані оцінки та інструменти генерації даних для підтримки майбутніх досліджень у аудіо-мовному моделюванні з урахуванням висоти тону.
HI-FI News
через штучний інтелект https://ift.tt/FJAeDjz
27 травня 2026 р. о 06:22 (GMT)
May 27, 2026 at 06:22AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.