OpenAI WebRTC Audio Session, now with document context

від

у

OpenAI WebRTC Аудіосесія, тепер із контекстом документа

https://ift.tt/vcELeWp

OpenAI WebRTC Аудіосесія, тепер із контекстом документа

Я створив першу версію цього інструмента у грудні 2024 року, щоб випробувати тоді-новий API OpenAI WebRTC для взаємодії з їхніми моделями аудіо в режимі реального часу.

Минулого місяця OpenAI представила абсолютно нову модель для цього API під назвою GPT‑Realtime‑2, яку просували як „перша голосова модель із мисленням рівня GPT‑5“ — з відомістю до 30 вересня 2024 року.

Я чекав на появу цієї моделі в мобільному застосунку ChatGPT для iPhone, але вона досі не з’явилася, тому я повернувся до свого старого майданчика для навчання.

Тепер ви можете обрати кращу модель, а також вставити великий фрагмент контексту документа, щоб у браузері вести аудіоподібну розмову про будь-яку інформацію, яку вважатимете корисною для обговорення в розмовному стилі.

Знімок екрана веб-інтерфейсу під заголовком «OpenAI WebRTC Аудіосесія» із сірим індикатором стану. Поля форми: «OpenAI API Token» із замаскованим паролем у крапках, випадаючий список «Voice» встановлено на «Coral», випадаючий список «Model» встановлено на «gpt-realtime-2». Розкривається секція з назвою «▼ Контекст документа (необов’язково — вставте текст для обговорення)» із жирною інструкцією «Вставте документ сюди перед початком сесії, і модель зможе обговорювати його з вами» над текстовою областю, що містить вставлений Markdown-документ про те, чи може DuckDB запускати ненадійну SQL так безпечно, як Datasette запускає SQLite. Нижче синя кнопка «Start Session» і сірa вимкнена кнопка «Mute Mic», далі зелений повідомлення про успіх «Session established successfully!» У нижній частині темна панель із заголовком «Last transcript» читає: «DuckDB can be made about as safe as SQLite for running untrusted SELECT queries, but only if you lock it down properly. Using read only true by itself is not enough, because SQL can still» (текст обірваний).

Теги: аудіо, інструменти, ai, openai, generative_ai, llms, багатомодальний-вивід, webrtc

HI-FI News

через блог Саймона Вілісона https://ift.tt/YRsNLDU

Червень 13, 2026 о 02:09AM

June 13, 2026 at 02:09AM