OmniCustom: синхронізація аудіо-відео за допомогою спільної генераційної моделі аудіо-відео
Існуючі домінуючі методи персоналізації відео зосереджуються на створенні відео, що зберігає ідентичність за наданими зразками зображень та текстовими підказками. Вигодоваючи від швидкого прогресу спільної генерації аудіо-відео, ця стаття пропонує більш переконливе нове завдання: синхронізована персоналізація аудіо-відео, яка має на меті синхронізовано настроювати як ідентичність відео, так і тембр аудіо. Конкретно, дано зразок зображення $I^{r}$ та зразок аудіо $A^{r}$, це нове завдання вимагає генерувати відео, що зберігає ідентичність зразка зображення, водночас імітуючи тембр зразка аудіо, причому сказаний вміст довільно задається за допомогою текстових підказок користувача. З цією метою ми пропонуємо OmniCustom, потужну DiT-базовану рамку персоналізації аудіо-відео, яка може синтезувати відео, дотримуючись ідентичності зразка зображення, тембру аудіо та текстових підказок одночасно у нуль-шаот режимі. Наша рамка базується на трьох ключових внесках. По-перше, контроль ідентичності та тембру аудіо досягається через окремі модулі LoRA для референсної особистості та аудіо, які працюють через модулі самопересічних шарів всередині базової моделі генерації аудіо-відео. По-друге, ми вводимо контрастивне навчальне завдання поряд із стандартним завданням вирівнювання потоку. Воно використовує передбачені потоки, обумовлені референсними входами, як позитивні приклади, та потоки без референційних умов як негативні приклади, тим самим посилюючи здатність моделі зберігати ідентичність та тембр. По-третє, ми тренуємо OmniCustom на нашому зведеному великому, високоякісному аудіовізуальному людському наборі даних. Розгорнуті експерименти демонструють, що OmniCustom перевершує існуючі методи у генерації аудіо-відеоконтенту з послідовною ідентичністю та вірністю тембру.
February 16, 2026 at 04:12AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.