Синхронізація арабського аудіопростору з розкладом даних
https://ift.tt/6zqIxy1
Моделі аудіо-великих мов (LLMs) забезпечують уніфіковане розуміння промови та її генерацію, однак їх адаптація до лінгвістично складних, багатодіалектних середовищ залишається недостатньо вивченою. У цій роботі вперше систематично досліджується багатозадачне налаштування за інструкцією для арабсько-центричної аудіо-LLM, що охоплює ієрархію генеративних завдань (автоматичне розпізнавання мови, ASR; підсумовування промови) та дискримінативних завдань (ідентифікація діалекту та емоцій). Щоб підтримати це дослідження, ми вводимо AraMega-SSum, новий набір даних для арабського підсумовування промови. Ми тонко донавчаємо Qwen2.5-Omni (7B) та пропонуємо навчальний план з прогресивним переходом між завданнями (Task-Progressive Curriculum, TPC) разом із Aligner-Based Diverse Sampling (ADS), стратегією, яка конструює батчі з високою щільністю інформації, обираючи приклади, збалансовані за завданням та мітками. Наші результати свідчать про критичний компроміс між ефективністю та надійністю: хоча ADS прискорює початкову збіжність та підвищує паралінгвістичні F1-оцінки, його внутрішня волатильність градієнтів може дестабілізувати генеративне декодування під час тривалого навчання. Більше того, хоча TPC стабілізує основне акустичне відображення, він часто спричиняє негативний перенос у подальших завданнях. Ми демонструємо, що гібридна стратегія TPC+ADS забезпечує оптимальний «рецепт» навчання: спершу створює міцну репрезентативну основу, а потім застосовує різноманітне вдосконалення для уловлення дрібних нюансів. Ці висновки дають практичні рекомендації щодо ефективної адаптації Omni-моделей у складних мультимодальних середовищах із обмеженими ресурсами.
HI-FI News
через штучний інтелект https://ift.tt/oEelRtO
21 січня 2026 року, о 05:52 ранку
January 21, 2026 at 05:52AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.