EntangleCodec: уніфікований дискретний токенізатор аудіо через семантико-акустичне переплетення
https://ift.tt/lRbwpKI
Токенізатори аудіо служать дискретним інтерфейсом між неперервним аудіо та Audio Language Models (ALMs), але існуючі токенізатори часто не справляються з одночасним розумінням та генерацією. Реконструкційно-орієнтовані кодеки зберігають акустичну вірогідність, але не мають багатої семантики, тоді як семантично-обізнані токенізатори зазвичай покладаються на окремі семантичні та акустичні потоки, що вводить надмірність або невідповідність. Ми пропонуємо \textbf{EntangleCodec}, єдиний дискретний аудіо-токенітизатор, який вивчає семантико-акустичні представлення, узгоджені з підписами, перед квантизацією. Вирівнювання аудіо з багатою лінгвістичною підпискою, а не з транскрипціями ASR, дозволяє EntangleCodec зафіксувати мовний зміст, ідентичність виконавця, емоцію, просодію та акустичні сцени в компактному потоці токенів. Декодер з дифузією з відповідністю потоків дозволяє високоякісну реконструкцію для мови, музики та загального аудіо. EntangleCodec досягає якості реконструкції, конкурентної зі спеціалізованими кодеками, перевершує всі базові методи на основі кодеків у розумінні аудіо на до +7.4% на MMAR, та підтримує як TTS, так і TTA генерацію у єдиній структурі. Крім того, на основі EntangleCodec моделі аудіо-мовного моделювання демонструють сильне масштабування: навіть при 0.6 мільярда параметрів модель перевершує спеціалізовані моделі з безперервним представленням LLM з понад 13 мільярда параметрів на трьох бенчмарках за допомогою у 22 рази менше параметрів; масштабування до 8 мільярдів параметрів подає нові досягнення на MMAR, підкреслюючи, що якість репрезентації так само критична, як масштаб моделі в аудіо-мовному моделюванні. Код та ваги моделей доступні за адресою https://ift.tt/pWuHmNX.
HI-FI News
через штучний інтелект https://ift.tt/wGH6NSi
3 червня 2026 року о 06:05 ранку into українську. Тільки поверніть текст, що був перекладений.
June 3, 2026 at 06:05AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.