Klear: Уніфіковане багатозадачне спільне генерування аудіо-та відео
Спільне генерування аудіо та відео швидко розвивалося, проте залишаються значні виклики. Некомерційні підходи все ще страждають від асинхронії аудіо-візуального контенту, поганої відповідності мови та руху губ, а також одновимірної деградації, що може бути зумовлено слабким моделюванням відповідності аудіо-візуалу, обмеженою генералізацією та браком якісних даних з щільними підписами. Щоб вирішити ці проблеми, ми представляємо Klear і досліджуємо три аспекти – архітектуру моделі, стратегію навчання та обробку даних. Архітектурно ми використовуємо однопідйомну конструкцію з уніфікованими DiT-блоками та механізмом Omni-Full Attention, досягаючи тісної синхронізації аудіо та відео та потужної масштабованості. У навчанні ми застосовуємо прогресивний багатозадачний режим – випадкове маскування модальностей для спільної оптимізації завдань і багатоступеневу навчальну програму, що забезпечує стійкі уявлення, посилює знання про світ з урахуванням А-В та запобігає одновимірному колапсу. Щодо наборів даних, ми представляємо перший великомасштабний аудіо-візуальний набір даних з щільними підписами та впроваджуємо новий автоматизований процес створення даних, який анотує та фільтрує мільйони різноманітних, високоякісних, строго погоджених трійок аудіо-відео-підписів. Спираючись на це, Klear масштабується до великих наборів даних, забезпечуючи високоякісне, семантично та часово узгоджене генерування відповідно до інструкцій у обох спільних та одновимірних налаштуваннях, при цьому стійко узагальнюючи в ситуаціях поза розподілом. У всіх завданнях він значно перевершує попередні методи і досягає продуктивності, порівнянної з Veo 3, пропонуючи уніфікований, масштабований шлях до наступного покоління синтезу аудіо та відео.
HI-FI Новини
через Штучний Інтелект
8 січня 2026 року о 04:38.
January 8, 2026 at 04:38AM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.