MedMosaic: Випробувальний великий набір даних з різноманітних медичних аудіо для складного завдання
https://ift.tt/ObGA8Ts
Ми презентуємо MedMosaic, набір даних з медичного аудіо для відповідання на запитання, розроблений для оцінювання моделей мови та аудіо-розуміння за реалістичних клінічних обмежень. Медичні аудіодані важко збирати через регуляції конфіденційності й високі витрати на анотацію, що виникають через потребу експертної/domain-specified компетенції. Тож існуючі набори даних зазвичай недооцінюють складні медичні аудіо-сценарії. Щоб вирішити ці проблеми, MedMosaic містить різноманітні типи медичних аудіо, включаючи фізіологічні звуки, пов’язані з станами, ретельно сконструйовані синтетичні голоси для імітації мови з артефактами, а також реальні короткі та довгі клінічні розмови для моделювання різної довжини контексту. У набір також входить 46 701 пара запитання–відповідь, що охоплює категорії: множинний вибір, послідовні багатокрокові та open-ended запитання-відповіді, що дозволяє систематично оцінювати багатоетапне міркування та генерацію відповідей. Оцінювання 13 моделей аудіо- та мультимодального розуміння показало, що міркування залишаються викликом для всіх оцінюваних систем, із суттєвими варіаціями продуктивності залежно від типу запитання. Зокрема, навіть передові моделі, такі як Gemini-2.5-pro, можуть досягати лише приблизно 68,1% точності. Ці висновки підкреслюють постійні обмеження медичного міркування та наголошують на потребі більш надійних, доменно-специфічних мультимодальних моделей розуміння.
HI-FI News
через Штучний інтелект https://ift.tt/kvzSg2B
5 травня 2026 року, 05:22 AM
May 5, 2026 at 05:22AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.