Fish Audio Releases Fish Audio S2: A New Generation of Expressive Text-to-Speech (TTS) with Absurdly Controllable Emotion

Fish Audio випускає Fish Audio S2: нове покоління виразного тексту в мовлення (TTS) з надзвичайно керованими емоціями

https://ift.tt/G823rDJ

Стан ландшафту систем TTS відходить від модульних конвейєрів до інтегрованих великих аудіомоделей (LAMs). Випуск Fish Audio S2-Pro, флагманської моделі в екосистемі Fish Speech, відображає перехід до відкритих архітектур, здатних до синтезу з високою точністю та багатокрапковою голосовою підстройкою з латентністю менше 150 мс. Випуск надає рамки для нульових зразків клонування голосу та детального контролю емоцій за допомогою підходу Dual-Auto-Regressive (AR).

Архітектура: подвійна рамка AR (Dual-AR) та RVQ
Головна технічна відмінність Fish Audio S2-Pro — його ієрархічна двокрокова архітектура Dual-AR. Традиційні моделі TTS часто стикаються з компромісом між довжиною послідовності та акустичною деталізацією. S2-Pro вирішує це шляхом поділу процесу генерації на два спеціалізовані етапи: повільну модель AR (Slow AR) та швидку модель AR (Fast AR).

1) Повільна модель AR (4 млрд параметрів): ця компонента працює на часовій осі. Вона обробляє мовні входи та генерує семантичні токени. З використанням більшої кількості параметрів (~4 млрд) повільна AR-модель охоплює довготривалі залежності, просодію та структурні нюанси мови.
2) Швидка модель AR (400 млн параметрів): ця компонента обробляє акустичну складову. Вона прогнозує залишкові кодові словники для кожного семантичного токена. Менша, швидша модель забезпечує генерацію високої частоти деталей аудіо — тембр, виразність дихання та текстуру — з високою ефективністю.

Система покладається на зворотний векторний квантування (RVQ). У цій схемі сирий звук стискається до дискретних токенів на кількох рівнях (кодові набори). Перший рівень захоплює основні акустичні ознаки, а подальші рівні — залишкові помилки від попереднього рівня. Це дозволяє моделі відтворювати високу якість аудіо 44,1 кГц з помірною кількістю токенів для архітектури Transformer.

Емоційний контроль через контекстне навчання та внутрішні теги
Fish Audio S2-Pro досягає того, що розробники називають “надзвичайно керованою емоцією” за допомогою двох основних механізмів: контекстне навчання без зразків (zero-shot, in-context learning) та inline-контроль за допомогою природномовних тегів.

Контекстне навчання (ICL):
На відміну від попередніх поколінь TTS, які вимагали явного тонкого налаштування для імітації певного голосу, S2-Pro використовує здатність трансформера виконувати контекстне навчання. Надаючи опорний аудіокліп — бажано від 10 до 30 секунд — модель визначає ідентичність говорителя та його емоційний стан. Модель розглядає цей опорний запис як префікс у контекстному вікні, дозволяючи продовжити «послідовність» у тому ж голосі та стилі.

Inline-контрольні теги:
Модель підтримує динамічні емоційні переходи в рамках одного проходу генерації. Оскільки модель навчалася на даних із описовими лінгвістичними маркерами, розробники можуть вставляти природномовні теги безпосередньо у текстовий підказник. Наприклад:
[whisper] I have a secret [laugh] that I cannot tell you.
Модель трактує ці теги як інструкції змінити акустичні токени в реальному часі, корегуючи висоту тону, інтенсивність та ритм без потреби окремого емоційного вбудовування чи зовнішнього вектора керування.

Продуктивність, benchmarks та інтеграція з SGLang
Інтеграція TTS у реальному часі стикається з обмеженням часу до першого аудіо (TTFA). Fish Audio S2-Pro оптимізовано під затримку менш ніж 150 мс, а бенчмарки на апаратному забезпеченні NVIDIA H200 досягають приблизно 100 мс.

Кілька технічних оптимізацій сприяють цій продуктивності:
– SGLang та RadixAttention: S2-Pro розроблено для роботи з SGLang, високопродуктивним сервісним фреймворком. Використовує RadixAttention, що дозволяє ефективне керування кешем Key-Value (KV). У продукційному середовищі, де один і той же “майстер” голосового підказника використовується повторно, RadixAttention кешує KV стан префіксу. Це усуває потребу повторно обчислювати опорний аудіо для кожного запиту, значно знижуючи час заповнення префіксу.
– Мульти-спікерська одноразова генерація: Архітектура дозволяє мати кілька особистостей-голосів у одному контекстному вікні. Це дозволяє створювати складні діалоги або багатокомпонентні розповіді в одному виклику інференсу, уникнувши накладних витрат на перемикання моделей або повторне завантаження ваг для різних мовців.

Технічна реалізація та масштаб даних
Репозиторій Fish Speech надає реалізацію на Python з використанням PyTorch. Модель тренувалася на різноманітному наборі даних більш ніж 300 000 годин багатомовного аудіо. Цей масштаб забезпечує стійку продуктивність моделі для різних мов та її здатність обробляти “немовні” вокалізації, такі як зітхання або запинки.

Пайплайн навчання включає:
1) Відкалібрювання VQ-GAN: навчання квантизатора для відображення аудіо у дискретний латентний простір.
2) Навчання LLM: навчання подвійних AR-трансформерів для передбачення цих латентних токенів на основі тексту та акустичних префіксів.

VQ-GAN, використаний у S2-Pro, спеціально налаштований для мінімізації артефактів під час розкодування, забезпечуючи, що навіть за високих ступенів стиснення реконструйоване Audio залишається «прозоримим» (не відрізняється від оригіналу для людського вуха).

Ключові висновки
– Архітектура Dual-AR (Slow/Fast): на відміну від моделей з одним етапом, S2-Pro розділяє завдання між 4–мільярдним параметрів Slow AR та 400-мільйонним параметрів Fast AR, оптимізуючи як детальність, так і швидкість.
– Під 150 мс затримки: розроблено для реального часу розмовного AI, модель досягає Time-to-First-Audio близько 100 мс на високопродуктивному обладнанні, що робить її придатною для живих агентів та інтерактивних застосунків.
– Ієрхічне RVQ кодування: використовуючи Residual Vector Quantization, система стискає аудіо 44.1 кГц в дискретні токени на кількох рівнях. Це дозволяє моделі відтворювати складні вокальні текстури — включно з вдихами та зітханнями — без обтяження обчисленням від сирого вольфрама.
– Нульові зразки у контекстному навчанні (Zero-shot ICL): розробники можуть клонувати голос та емоційний стан, надавши опорний кліп тривалістю 10–30 секунд. Модель розглядає це як префікс, усвоюючи тембр та просодію мовця без потреби додаткового тонкого налаштування.
– РадиксAttention та інтеграція з SGLang: оптимізовано для виробництва, S2-Pro використовує RadixAttention для кешування KV станів голосових підказок, що дозволяє майже миттєву генерацію при використанні однакового мовця повторно та різко знижує витрати на попереднє заповнення.

Перегляньте Model Card та Репозиторій
Check out Model Card and Repo. Також слідкуйте за нами в Twitter та приєднуйтесь до нашого 120k+ ML SubReddit та підпишіться на нашу розсилку. Також можна долучитися до нашого Telegram-каналу.

Примітка: публікація Fish Audio S2: A New Generation of Expressive Text-to-Speech (TTS) with Absurdly Controllable Emotion вперше з’явилася на MarkTechPost.

HI-FI News
через MarkTechPost
https://ift.tt/rbxhIGZ

11 березня 2026, 06:03

March 11, 2026 at 06:03AM