Google випустила Gemini 3.5 Live Translate — стрімкову модель аудіо для живого перекладу мови понад 70 мов у Meet, Translate та Live API
Google щойно оголосила про Gemini 3.5 Live Translate. Це їхня новітня аудіо-модель для живого перекладу мовлення. Speech-to-speech означає, що входить усна аудіо, а виходить перекладена промовлена аудіо. Модель автоматично визначає понад 70 мов і генерує перекладену мову. Вона зберігає інтонацію, ритм і висоту голосу оратора у виході. Системи з «поворотом» (turn-by-turn) чекають, поки спікер закінчить, перш ніж відповісти. Gemini 3.5 Live Translate генерує промову безперервно. Вона тримає баланс між очікуванням контексту та миттєвим перекладом. Більше контексту підвищує якість. Швидший вихід тримає переклад у синхроні зі спікером. Результат протягом сесії залишається всього на кілька секунд позаду спікера.
Gemini 3.5 Live Translate — це єдина аудіо-модель (gemini-3.5-live-translate-preview), а не чат-асистент. Вона обробляє мову під час потокової подачі аудіо, а не після повного речення. Вона обробляє багатомовні вхідні дані без ручної конфігурації налаштувань. Її шумостійкість дозволяє застосування у гучних, непередбачуваних умовах.
Модель розгортається на трьох платформах. Розробники отримують її у публічному прев’ю через Gemini Live API та Google AI Studio. Підприємствам — приватне прев’ю в Google Meet з цього місяця. Інші користувачі — через застосунок Google Translate на Android та iOS.
Як працює безперервне потокове передавання
Дизайнова відмінність має значення для побудови реального часу. Розмовний живий агент використовує обертанням (turn-based) взаємодії. Він покладається на паузи, детекцію наміру та обробку переривань. Живий переклад використовує безперервну обробку потоку. Він перекладає під час розмови, не чекаючи закінчення черг.
Щоб дотримуватися суворих затримок реального часу, шлях перекладу приймає лише вхід аудіо. Вхід тексту не підтримується у режимі перекладу. Також у цьому режимі модель відмовляється від використання інструментів та системних інструкцій. Це дозволяє зберегти фокус на перекладі, а не на загальному агенті.
Будування з Live API
Розробники конфігурують переклад всередині сесії Live API. Ви встановлюєте блок translationConfig в рамках generationConfig. Параметр targetLanguageCode приймає код за стандартом BCP-47, наприклад "pl" або "es". BCP-47 — стандартний формат тегів мов, як en або pt-BR. За замовчуванням — "en". Булевий параметр echoTargetLanguage керує вхідним аудіо, яке вже представлено цією мовою. Якщо true, модель відображає цю мову в промові. Якщо false — мовчить. Також можна увімкнути inputAudioTranscription та outputAudioTranscription для текстових транскрипцій.
Формати аудіо фіксовані. Вхід — сирий 16-бітний PCM на 16 кГц, моно, little-endian. Вихід — сирий 16-бітний PCM на 24 кГц, моно, little-endian. PCM — це стиснена відсутня аудіо. Ви відправляєте аудіо порціями по 100 мс. Для клієнтських застосунків епізодичні токени на кінцевій точці v1alpha запобігають розголосу вашого API-ключа.
Порівняльна таблиця
– Роль моделі: Слухаючий помічник; Інтерпретатор / конвеєр живого перекладу
– Взаємодія: Обертанням, з обробкою переривань; Безперервна обробка потоку, немає черг
– Інструменти: Виклик функцій, Google Search, інструкції; Тільки переклад, інструменти й інструкції відсутні
– Вхідні дані: Текст, аудіо, відео та зображення; Тільки аудіо, для суворої затримки
– Конфігурація: Generation, speech, tools, instructions; targetLanguageCode та echoTargetLanguage
Використання
Модель орієнтована на живий переклад в різних сценаріях. Google перелічує багатомовні дзвінки, зібрання, уроки та трансляції. Платформи для розробників зменшують обсяг інтеграційних робіт для реального часу з медіа. Agora, Fishjam, LiveKit, Pipecat та Vision Agents вже використовують Live API. Ці платформи обробляють складну інфраструктуру реального часу потокового медіа. Це дозволяє розробникам зосередитися на досвіді користувача.
Приклад застосунку Google демонструє дублювання та одночасний багатомовний переклад. Grab тестує модель для комунікації водія та пасажира під час підйомів. Користувачі Grab роблять понад 10 мільйонів голосових дзвінків на місяць. CJ ENM, LiveKit та інші повідомили про позитивні відгуки щодо якості, точності та низької затримки.
Як це змінює Google Meet та Translate
За офіційним релізем Google Meet невдовзі використатиме 3.5 Live Translate для перекладу мови. Таблиця показує стан до і після для Meet.
Поточний Meet vs з 3.5 Live Translate
– Мови: 5 → 70+
– Комбінацій за зустріч: лише з англійською (до/від) → понад 2000 комбінацій
– Доступ: існуючий інтерфейс → оновлений інтерфейс для миттєвого доступу
Оновлення Meet зараз перебуває в приватному прев’ю для обраних бізнес-клієнтів Workspace цього місяця. Розгортання ширше заплановане на кінець року. У застосунку Translate функція Live translate працює з будь-якими підключеними навушниками. Вона відтворює тон мовця у понад 70 мов. Android також отримує режим прослуховування. Тримайте телефон до вуха, як під час звичайного дзвінка. Перекладене аудіо потім передається до еарпейсу, і ніхто не чує.
Ключові висновки
– Gemini 3.5 Live Translate — остання аудіо-модель Google для живого перекладу мови більш ніж 70 мов.
– Вона працює у режимі безперервного потоку замість поодиноких кроків, залишаючись на кілька секунд позаду мовця.
– Розробники можуть конфігурувати через Live API за допомогою targetLanguageCode та echoTargetLanguage; аудіо лише, 16 кГц входу, 24 кГц виходу.
– Вона розгортається у Gemini Live API, Google Meet (з 5 мов на 70+ мов) та застосунок Translate.
– Усі згенеровані аудіо містять невидимий водяний знак SynthID для виявлення.
June 9, 2026 at 07:27PM
Залишити відповідь
Щоб відправити коментар вам необхідно авторизуватись.