MiMo-Audio забезпечує навчання з кількома прикладами для аудіозавдань, масштабується до 100 мільйонів годин
Здатність розуміти і генерувати аудіо з людською гнучкістю залишається значним викликом для штучного інтелекту, оскільки сучасні системи часто вимагають великої кількості специфічного навчання. Дослідники Дунг Чжан, Ганг Ванг, Цзінлонг Сюй, Kai Fang та команда Xiaomi LLM-Core вирішують це обмеження за допомогою MiMo-Audio, нового підходу до музінгування мовлення. Вони демонструють, що збільшення обсягу даних для попереднього навчання до понад ста мільйонів годин відкриває вражаючі можливості навчання з кількома прикладами в аудіозавданнях, дозволяючи моделі узагальнювати на невідомі виклики, такі як конверсія голосу та реалістичне продовження мовлення. В результаті модель MiMo-Audio-7B-Instruct досягає найкращих результатів у ряді еталонів, включаючи інтелект мовлення, розуміння аудіо та усні діалоги, навіть змагаючись з можливостями закритих систем і представляючи значний прогрес у відкритому аудіо ШІ.
Можливості в аудіо-домені відображають недавні досягнення в обробці тексту, передбачаючи аналогічний потенціал для потужних моделей. Масштабування даних для попереднього навчання MiMo-Audio до більш ніж ста мільйонів годин відкрило можливості навчання з кількома прикладами в широкому спектрі аудіозавдань. Систематична оцінка підтверджує, що MiMo-Audio-7B-Base досягає найкращих показників за еталонами інтелекту мовлення і розуміння аудіо серед відкритих моделей. Окрім стандартних оцінок, MiMo-Audio-7B-Base успішно узагальнює на завдання, відсутні в його навчальних даних, включаючи конверсію голосу, передачу стилю та детальне редагування мовлення. Більш того, модель демонструє вражаючі можливості продовження мовлення, генеруючи дуже реалістичний контент, наприклад, ток-шоу, декламації, трансляції в прямому ефірі та дебати.
Команда визнає внески кількох груп, включаючи Xiaomi LLM-Plus, NGK, MiChat, Mify, команду платформи даних та CloudML. Йонгже Хе був відповідальним автором цього дослідження.
MiMo-Audio досягає широкого розуміння аудіо
Вчені досягли прориву в музінгуванні мовлення з розробкою MiMo-Audio, системи, що демонструє сильне узагальнення в різноманітному наборі аудіозавдань. Команда масштабувала дані для попереднього навчання до понад ста мільйонів годин, розкриваючи нові можливості, які раніше не були спостережені у відкритих моделях. Ця робота встановлює новий стандарт як для інтелекту мовлення, так і для розуміння аудіо, виходячи за межі обмежень специфічного доопрацювання завдань, характерних для існуючих систем. Експерименти показують, що MiMo-Audio-7B-Base досягає найкращих результатів за встановленими еталонами, а також узагальнює на завдання, відсутні в його оригінальних навчальних даних, включаючи конверсію голосу, передачу стилю та редагування мовлення.
Модель демонструє потужні можливості продовження мовлення, успішно генеруючи дуже реалістичний контент, такий як ток-шоу, декламації, трансляції в прямому ефірі та дебати. Тести підтверджують здатність системи підтримувати зв’язність і природність протягом тривалих періодів, що є значним досягненням у синтезі мовлення. Подальше вдосконалення через настройку за інструкціями призвело до MiMo-Audio-7B-Instruct, що досягає найкращих результатів за еталонами розуміння аудіо, включаючи MMSU, MMAU, MMAR та MMAU-Pro. Модель також відмінно показує себе в оцінках усних діалогів, таких як Big Bench Audio і MultiChallenge Audio, а також в оцінках instruct-TTS, наближаючись до або перевершуючи продуктивність закритих моделей.
Вимірювання підтверджують, що архітектура системи, що включає великий токенізатор з 1.2 мільярда параметрів, досягає вищої якості реконструкції та сприяє ефективному подальшому мовленнєвому моделюванню, генеруючи 200 токенів на секунду при частоті 25 Гц. Інноваційний підхід команди до попереднього навчання, що поєднує енкодер патчів, велику мовну модель та декодер патчів, дозволяє ефективно моделювати послідовності з високою частотою токенів і усуває різницю між мовленням і текстовими модальностями.
MiMo-Audio узагальнює на різноманітних аудіозавданнях
Дослідники розробили MiMo-Audio, нову модель мовлення, яка демонструє сильне узагальнення на різноманітних аудіозавданнях. Масштабуючи обсяг даних для попереднього навчання до понад ста мільйонів годин та застосовуючи архітектуру, розроблену для збереження всієї інформації про мовлення, команда досягла найкращих результатів за еталонами інтелекту мовлення та розуміння аудіо серед відкритих моделей. Особливо модель успішно вирішує завдання, для яких її не специфічно навчали, включаючи конверсію голосу, передачу стилю та редагування мовлення, і демонструє вражаючі можливості у генеруванні реалістичних продовжень мовлення для сценаріїв, таких як ток-шоу та дебати. Подальше вдосконалення через настройку за інструкціями призвело до MiMo-Audio-Instruct, яка досягає провідних результатів за еталонами розуміння аудіо, усного діалогу та тексту в мовлення, наближаючись до продуктивності закритих моделей.
HI-FI News
через Quantum Zeitgeist 9 січня 2026 року о 12:30.
January 9, 2026 at 12:30AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.