OpenAI Releases Three Realtime Audio Models: GPT-Realtime-2, GPT-Realtime-Translate, and GPT-Realtime-Whisper in the Realtime API

OpenAI випускає три моделі реального часу для аудіо: GPT-Realtime-2, GPT-Realtime-Translate та GPT-Realtime-Whisper у Realtime API

OpenAI випустила три нові моделі аудіо через своє Realtime API, кожна з яких орієнтована на окрему можливість у живих голосових застосунках: GPT-Realtime-2 для голосових агентів із розумінням, GPT-Realtime-Translate для живого перекладу мови та GPT-Realtime-Whisper для потокової транскрипції. Разом із випуском моделей Realtime API офіційно виходить із бета-версії та стає загальнодоступним — значущий сигнал для розробників, які утримувалися від побудови продукційних систем на ньому. Всі три моделі доступні відразу через OpenAI API і можуть бути випробувані в Playground.

Разом вони підводять голосові застосунки далі за базовий цикл запитання–відповіді — до систем, які можуть слухати, мислити, перекладати, транскрибувати та діяти в рамках одного діалогу.

GPT-Realtime-2: голосове мислення з вікном контексту 128K
Головна реліз-надія — GPT-Realtime-2, яку команда OpenAI описує як першу голосову модель з мислення рівня GPT-5. GPT-Realtime-2 може обробляти складніші запити, керувати перериваннями та природно продовжувати розмову. OpenAI розширив контекстне вікно моделі з 32K до 128K токенів, що дозволяє довші розмови та більш складні завдання без втрати контексту.

Попередні голосові моделі часто зупинялися під час багатоетапних запитів або втрачали попередній контекст під час довших сесій. GPT-Realtime-2 спеціально розроблена, щоб тримати розмову в русі під час того, як вона розмірковує над запитом.

Розробники можуть увімкнути короткі преамбули — наприклад «давайте перевірю це» або «одна хвилина, будь ласка, поки я роздивлюсь» — щоб користувачі знали, що агент працює над запитом. Модель також може одночасно викликати кілька інструментів і пояснювати, що саме робить — замість мовчання під час багатоетапного завдання користувач отримує наративний коментар. Ці функції безпосередньо вирішують одну з найпоширеніших збоїв у впроваджених голосових агентів: незграбну тишу, що створює враження, ніби система ламається.

Особливо корисний контроль для продакшн-будівельників — adjustable reasoning effort (регульований рівень розуміння) — доступний у п’яти рівнях: мінімальний, низький, середній, високий та дуже високий. За замовчуванням встановлено «низький», щоб зменшити затримку для простих запитів, тоді як складніші завдання можуть залучати більше обчислювальної потужності. Це означає, що команди можуть налаштовувати компроміс між продуктивністю та затримкою на рівні сеансу залежно від випадку використання — швидкий пошук клієнта не потребує такої глибини мислення, як багатоступенева бронювання дорожнього маршруту.

GPT-Realtime-2 також додає контроль тону. Модель може регулювати стиль мовлення залежно від ситуації — залишатися спокійною під час розв’язання проблем, переходити до емпатійного тону, коли користувачі розчаровані, та ставати більш оптимістичною після успішного результату. Модель також краще розуміє спеціалізовану термінологію галузей, включаючи медичну лексикону та власні назви.

За бенчмарками покращення вимірювані. GPT-Realtime-2 з високим рівнем мислення набрала 96,6% на Big Bench Audio, порівняно з 81,4% у GPT-Realtime-1.5 — підвищення на 15,2 відсоткових пункти. GPT-Realtime-2 з рівнем мислення xhigh набрала 48,5% на Audio MultiChallenge за завданням виконання інструкцій, порівняно з 34,7% для GPT-Realtime-1.5.

Big Bench Audio оцінює складні можливості мислення в мовних моделях, що підтримують аудіо вхід. Audio MultiChallenge оцінює багатовимірний діалоговий інтелект у системах розмовної взаємодії, включаючи слідування інструкціям, інтеграцію контексту, самопослідовність та обробку виправлень природної мови.

Ціни: GPT-Realtime-2 коштує 32 долара за 1 млн аудіо вхідних токенів (0,40 долара за кешовані вхідні токени) та 64 долари за 1 млн аудіо вихідних токенів.

GPT-Realtime-Translate: живий переклад мови понад 70 мов
GPT-Realtime-Translate — це нова модель живого перекладу, яка перекладає мову з понад 70 вхідних мов на 13 вихідних мов, не відстаючи від мови мовця. На відміну від GPT-Realtime-2, ця модель є спеціалізованим перекладацьким конвеєром — мова входить однією мовою та виходить іншою. Вона не є розмовним агентом; вона призначена для конвертації одного аудіопотоку в інший у реальному часі.

Розрізнення важливе для розробників, які обирають потрібний інструмент. Якщо ваш застосунок потребує двомовного потоку обслуговування клієнтів або живого перекладача на заході, GPT-Realtime-Translate — це цілеспрямований варіант. Якщо вам потрібно, щоб модель також розуміла, обґрунтовувала та зберігала контекст протягом черг, GPT-Realtime-2 це забезпечує.

Ціни: GPT-Realtime-Translate — 0,034 долара за хвилину.

GPT-Realtime-Whisper: потокова транскрипція в режимі реального часу
GPT-Realtime-Whisper — нова модель потокової транскрипції мови в текст, створена для низької затримки — транскрибування аудіо по мірі того, як люди говорить, щоб живі продукти були швидшими, більш реактивними та природними.

Перший і оригінальний модель Whisper була розроблена для завершених фрагментів аудіо, тому краще підходила для транскрипції після сесії. GPT-Realtime-Whisper — це потокова версія, спеціально розроблена для застосувань, які потребують живого виводу. Для реальної транскрипції gpt-realtime-whisper дає контроль над затримкою — нижчі налаштування затримки забезпечують раніше частковий текст, тоді як вищі налаштування затримки можуть покращити якість транскрипції.

Випадки використання включають живі субтитри трансляції, нотатки зустрічі, створені під час розмови, та голосових агентів, які потребують постійного розуміння користувача, а не очікування на по черзі введення.

Ціни: GPT-Realtime-Whisper — 0,017 долара за хвилину.

Архітектурні патерни та нові голоси
Розробники можуть обирати між трьома типами сесій залежно від випадку використання: сесія голосового агента, коли застосунок потребує помічника, що відповідає користувачу; сесія перекладу, коли застосунок потребує перекладача; та сесія транскрипції, коли потрібен текст з аудіо без відповідей моделі.

З боку голосового виведення дві нові голоси — Cedar та Marin — приєдналися до репертуару API ексклюзивно з цим релізом.

Усі три моделі — GPT-Realtime-2, GPT-Realtime-Translate та GPT-Realtime-Whisper — доступні зараз через OpenAI Realtime API, який починає діяти загальнодоступно з сьогоднішнього дня.

Ключові висновки
– GPT-Realtime-2 приносить мислення рівня GPT-5 у голос з контекстом 128K, п’ятьма рівнями регульованого мислення, контролем тону, паралельними викликами інструментів та можливістю відновлення після переривання
– На Big Bench Audio GPT-Realtime-2 (високий рівень) набрала 96,6% порівняно з 81,4% у GPT-Realtime-1.5; на Audio MultiChallenge варіант xhigh має 48,5% проти 34,7% у GPT-Realtime-1.5
– GPT-Realtime-Translate обробляє живий переклад мови з понад 70 вхідних мов на 13 вихідних мов за ціною 0,034 долара за хвилину
– GPT-Realtime-Whisper транскрибує потоково в реальному часі з контрольованою затримкою за 0,017 долара за хвилину
– Realtime API виходить з бета-версії та стає загальнодоступним сьогодні водночас із двома новими голосами Cedar та Marin

Перегляньте повні технічні деталі тут. Також можете слідкувати за нами в Twitter та підписатися на наш ML SubReddit та наші оновлення (Newsletter). Водночас, чи ви активні в Telegram? Тепер ви можете приєднатися до нас у Telegram.

Хочете з нами партнерство для просування вашого GitHub-репозиторію або Hugging Face-сторінки або випуску продукту або вебінару тощо? Підключіться з нами.

Пост OpenAI Releases Three Realtime Audio Models: GPT-Realtime-2, GPT-Realtime-Translate, and GPT-Realtime-Whisper in the Realtime API з’явився першим на MarkTechPost.

May 8, 2026 at 09:09AM