VocalParse: доультяна єдиного та масштабованого розпізнавання співочого голосу з використанням великих аудіо-мовних моделей
https://ift.tt/swL71cP
Високоякісні анотації співу є фундаментальними для сучасних систем синтезу співочого голосу (SVS). Однак отримати ці анотації у масштабі через ручне маркування нереалістично через значну роботу та музичну експертизу, тому автоматичне маркування є надзвичайно необхідним. Попри їхню користь, поточні системи автоматичної транскрипції стикаються з серйозними проблемами: вони часто покладаються на складні багатоступінчасті конвеєри, мають труднощі з відтворенням прив’язок текст-нот та демонструють погану узагальнюваність на даних про спів за межами розподілу (OOD). Щоб полегшити ці проблеми, ми презентуємо VocalParse, уніфіковану модель транскрипції вокалу (SVT), побудовану на великій аудіо-мовній моделі (LALM). Специфічно, наш новий внесок полягає у введенні міжчергової формалізації підказок, яка спільно моделює тексти пісень, мелодію та відповідність слів нотам, що приводить до згенерованої послідовності, яка безпосередньо відображається на структурований музичний склад. Далі пропонуємо стратегію за підказками у стилі ланцюга мислення (CoT), яка розкодовує тексти пісень спочатку як семантичну основу, значно зменшуючи проблему порушення контексту, водночас зберігаючи структурні переваги міжчергової генерації. Експерименти демонструють, що VocalParse досягає стану-оф-арт в SVT на кількох наборах даних співу. Вихідний код та контрольна точка доступні за адресою https://ift.tt/TC3JAF5.
HI-FI News
через штучний інтелект https://ift.tt/iJnZDI8
7 травня 2026 року о 05:30 за ранковим часом
May 7, 2026 at 05:30AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.