Google’s Gemini Omni перетворює зображення, аудіо та текст на відео — і це тільки початок
Коли Google запустила Gemini три роки тому, мета полягала в створенні мультимодальної великої мовної моделі — єдиної нейронної мережі, яка навчалася на тексті, зображеннях, аудіо та відео й могла генерувати контент у будь-якому з цих форматів.
Сьогодні, на конференції розробників Google I/O, компанія зробила конкретний крок до цієї мети з Gemini Omni, новою сім’єю мультимодальних моделей, які, за словами генерального директора Sundar Pichai, зможуть «створювати все з будь-якого входу».
Omni розпочне з відео. Тепер користувачі можуть поєднувати зображення, аудіо, відео та текст і замість простого зшивання цих входів Omni розуміє їх усі, щоб створити послідовний вихід. Результат — якісні відео, що відображають розуміння фізики, культури, історії та науки.
Omni також дозволяє редагувати фото за допомогою простих текстових команд, а не складного редакторського ПО, подібно до Google’s Nano Banana.
Google вже має присвячену модель відео, Veo, що дозволяє користувачам перетворювати текст і зображення на відео, та навіть напряму керувати аватарами та налаштовувати їх. Але директор з продуктового менеджменту DeepMind Ніколь Бріктова каже, що сьогоднішній реліз — це більше, ніж просто оновлення Veo: «Це наступний крок у поєднанні інтелекту Gemini з рендеринговими можливостями наших медіа-моделей».
Один з прикладів, який надали журналістам під час брифінгу в понеділок, наводив Koray Kavukcuoglu, головний технолог DeepMind: коли Omni отримав простий запит, як «клеймейшн-експлейнер білка згортання», він швидко згенерував відео з покадровим поясненням та озвученням: «Білки починаються як ланцюги амінокислот. Вони складаються у патерни, такі як α-спіраль та плоскі ділянки, які називають β-плити, утворюючи ідеальну тривимірну форму».
Довгострокове бачення Omni ширше: модель з часом може генерувати зображення з аудіо або аудіо з відео.
«Коли ми вперше оголосили Gemini, це була наша перша модель ШІ, яка була нативно мультимодальною», — сказав Пічай під час брифінгу. «Ми знали, що навчання на поєднанні тексту, коду, аудіо, зображень та відео дозволить їй глибше розуміти світ. З моделями світів ШІ переходить від передбачення тексту до моделювання реальності. Gemini Omni — наступний крок у цьому напрямку».
У рамках релізу користувачі також зможуть створювати відео зі своїми цифровими аватарами — щось популяризував OpenAI на своєму зараз уже неіснуючому Sora з Cameos. Щоб запобігти глибокимфейкам, користувачі повинні пройти спеціальне введення в продукт, що передбачає запис себе та промовлення серії чисел, за словами Бріктової. Аватар потім зберігається для майбутнього використання.
Крім того, всі відео, створені за допомогою Omni, матимуть цифровий водяний знак SynthID від Google, що дозволяє користувачам перевірити, чи були відео згенеровані за допомогою продуктів Gemini.
Першою моделлю у сімействі є Gemini Omni Flash, яка з сьогоднішнього дня буде запускатися в застосунку Gemini, YouTube Shorts та творчій студії Flow. Flash зможе відрендерити 10 секунд відео, що Бріктова зазначила не обмеження моделі, а рішення з огляду на бажання поширити її на більше користувачів та очікування, що більшість користувачів не захочуть робити значно довші відео наразі. Втім довші тривалості відео уже в планах на близьке майбутнє.
Google, здається, подає Omni Flash більше як споживчий інструмент. Приклади, які Бріктова та Гейб Барс-Марон, інженер-дослідник DeepMind, навели під час дзвінка з TechCrunch, використання для цифрових аватарів були суто особистими: створення відео про себе, як ви отримуєте нагороду або відвідуєте місяць, або видалення перехожого з фону відео з вашого відпустного знімка.
Барс-Марон висловив це простіше: «Вони схожі на персоналізовані меми».
«Ми дійсно зосередилися на тому, щоб зробити це зручним для споживачів», — сказала Бріктова. «Не багатьом моделям відео вдається подолати цей розрив з споживачами, тож це наша спроба зробити це».
Зручність використання має попередження: Бріктова та Барс-Марон відмітили, що редагувальні підказки повинні бути надзвичайно конкретними, інакше Omni ризикує надмірно редагувати або неумисно змінювати елементи, які користувач хотів зберегти — проблема, з якою зіштовхнулися користувачі Nano Banana.
Незважаючи на близьку орієнтацію на споживача, комерційні та творчі можливості Omni очевидні, і Google незабаром зробить Omni доступним через API. Інструмент створення аватарів — можливість, вже доступна сьогодні на Shorts — очікує, що творці контенту його підхоплять. Але ширше, наскільки можлива повноцінна мультимодальна робоча процедура, може стати трансформаційною для рекламодавців та кінематографістів.
Стартап Luma AI розробляє щось подібне, інструмент агентної дії, що може створювати всю рекламну кампанію за коротким брифом та зображенням продукту, на основі власної «уніфікованої» моделі.
«Ми насправді пишаємося текстовими можливостями моделі, які дуже корисні для таких речей, як реклама», — сказала Бріктова. «Якщо вам потрібен продукт де-небудь або навіть просто слоган, потрібно, щоб це було точно… Ми точно очікуємо, що кінематографісти та інші творці також будуть користуватися цією моделлю».
Більш професійні використання можуть бути краще обслуговані моделлю Omni Pro, яка має кращі результати у всіх завданнях Omni. Google ще не повідомляла, коли випустить Pro, але Бріктова сказала, що це станеться, коли «ми відчуваємо, що маємо крок-перемогу над Flash».
May 19, 2026 at 07:49PM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.