Генерування синтетичних розмов між лікарем та пацієнтом для довготривалого аудіоузагальнення
https://ift.tt/cipWhrt
Довгий контекст аудіо-логіки залишаємо поза увагою як у навчальних даних, так і в оцінюванні. Існуючі бенчмарки орієнтовані на завдання з коротким контекстом, а завдання відкритої генерації, найбільш релевантні довгостроковій контекстній логіці, створюють добре відомі проблеми для автоматичної оцінки. Ми пропонуємо конвеєр синтетичного створення даних, який слугує як ресурсом для навчання, так і контрольованим середовищем для оцінювання, і застосовуємо його до розмов лікаря та пацієнта під час першого візиту з генерацією SOAP-ноти як завдання. Конвеєр складається з трьох етапів: генерація діалогу за персонажами, синтез аудіо з кількома мовцями із моделюванням перекриттів/пауз, акустика приміщення та звукові події, та створення SOAP-ноти за допомогою моделей на основі великих мовних моделей (LLM), побудоване виключно на моделях з відкритою вагою. Ми випускаємо 8 800 синтетичних розмов з відповідною аудіо-частиною на 1,3 тисячі годин та довідковими нотами. При оцінюванні нинішніх систем з відкритою вагою ми знаходимо, що каскадні підходи все ще суттєво переважають енд‑то‑енд моделі.
HI-FI News
через Штучний інтелект https://ift.tt/eFEgbf2
8 квітня 2026 р. о 05:12 ранку
April 8, 2026 at 05:12AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.