Stage-adaptive audio diffusion modeling

Stage-adaptive audio diffusion modeling

https://ift.tt/9XViEPH

Останні досягнення у дифузійній генерації та відновленні аудіо суттєво покращили продуктивність у різних режимах умовлення, включаючи аудіогенерацію з текстовим вхідним сигналом та аудіоколоніальне суперодногнення. Проте навчання аудіодифузійних моделей залишається обчислювально витратним, і більшість існуючих конвеєрів все ще покладають за основу статичні оптимізаційні рецепти, які трактують відносну важливість навчальних сигналів як фіксовану протягом навчання. У цій роботі ми стверджуємо, що основне джерело неефективності полягає у еволюційному балансі між семантичним засвоєнням та уточненням, орієнтованим на генерацію. На початку навчання сильніше підкреслюється набуття сімантично узгодженої структури та коarsio глобальної організації, тоді як пізніше навчання все більше акцентує часову послідовність, перцепційну вірність та уточнення дрібних деталей. Щоб охарактеризувати цей еволюційний баланс, ми вводимо регіональну змінну прогресу, що походить із похилої лінії помилки SSL-простору під час навчання, яка вимірює семантичний прогрес протягом навчання. На основі цього сигналу розроблено три комплементарні механізми з урахуванням стадії: зменшення керівництва SSL на ранніх стадіях семантичного старту, самоадаптивне розбиття крокових кроків навчання, кероване регіональною змінною, та регуляризація, чутлива до структури, активована з конвергентних згрупованих організацій у просторовому параметрі. Ми оцінюємо ці механізми на текст-умовлюваній аудіогенерації та аудіо-умовленому суперрезолюційному завданні. Для обох випадків запропоновані стейдж-орієнтовані стратегії покращують збіжність та дають підвищення за основними метриками генерації та спектральної реконструкції порівняно зі стандартними статичними базовими моделями. Ці результати підкріплюють погляд, що ефективне навчання аудіодифузії може виграти від трактування зовнішніх вказівок, внутрішньої організації та пріоритетів оптимізації як залежних від стадії елементів, а не як фіксованих компонентів.

HI-FI News

via Artificial Intelligence https://ift.tt/iJnZDI8

7 травня 2026 р. о 05:30 ранку

May 7, 2026 at 05:30AM