GPT-4o mini Realtime Preview

Технические характеристики gpt-4o-mini-realtime-preview

Что такое gpt-4o-mini-realtime-preview?

gpt-4o-mini-realtime-preview — это мультимодальная модель реального времени, разработанная для быстрых, интерактивных сценариев, где пользователи говорят, печатают или делятся визуальным вводом и ожидают немедленных ответов. Она хорошо подходит для приложений, которым требуется живое двустороннее общение, а не стандартные одношаговые запросы/ответы.

Модель может обрабатывать речь, текст и изображения в рамках одного взаимодействия, что делает ее полезной для ассистентов, которые слушают абонента, анализируют содержимое экрана или камеры и отвечают естественным языком или аудио. Поскольку поддерживается потоковый ввод и вывод, разработчики могут создавать системы, которые выглядят отзывчивыми в ходе активного взаимодействия, не дожидаясь полного завершения ответа.

Также поддерживаются инструменты и вызовы функций, что позволяет модели инициировать структурированные действия, такие как поиск данных, вызов серверных сервисов или выполнение шагов рабочего процесса. Благодаря этому gpt-4o-mini-realtime-preview — удачный выбор для основанных на действиях агентов в поддержке клиентов, операциях, продуктивности и мультимодальных ассистентах.

Основные возможности gpt-4o-mini-realtime-preview

• Взаимодействие в реальном времени на основе мультимодальностей: принимает и отвечает через речь, текст и изображения, обеспечивая плавные живые сценарии.
• Двунаправленное аудио: поддерживает разговорные голосовые интерфейсы с потоковым входом аудио и потоковой отдачей ответов.
• Потоковые ответы: выдает частичные результаты по мере готовности, снижая воспринимаемую задержку и повышая отзывчивость.
• Понимание визуальной информации: интерпретирует визуальные входные данные, такие как кадры с камеры, скриншоты и другие изображения в ходе сеанса.
• Вызов функций и инструментов: формирует структурированные вызовы, позволяя приложению связывать модель с бизнес-логикой, базами данных и внешними инструментами.
• Интерактивное поведение агента: хорошо работает в ассистентах, которым нужно сохранять контекст по ходам во время активных сеансов.
• Обработка живых звонков: полезно для телефонных или веб-звонков, где важно быстрое понимание речи и мгновенные ответы.
• Субтитры и транскрибация в реальном времени: поддерживает сценарии, преобразующие текущую речь в пригодный для использования текст почти в реальном времени.
• Структурированные выходные данные для действий: помогает превращать намерения из беседы в надежные машиночитаемые инструкции.
• Низкая задержка в пользовательских сценариях: оптимизировано для случаев, где важна отзывчивость, например поддержка, коучинг, мониторинг и управляемые процессы.

Как получить доступ и интегрировать gpt-4o-mini-realtime-preview

Шаг 1: Зарегистрируйтесь и получите ключ API

Сначала создайте учетную запись в CometAPI и сгенерируйте ключ API в панели управления. Этот ключ необходим для аутентификации каждого запроса. Храните его в безопасности и не раскрывайте в клиентском коде или публичных репозиториях.

Шаг 2: Подключитесь к API gpt-4o-mini-realtime-preview

Realtime API использует соединения WebSocket. Подключитесь к WebSocket-эндпоинту CometAPI:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Шаг 3: Получите и проверьте результаты

Realtime API передает ответы через соединение WebSocket в виде событий, отправляемых сервером. Отслеживайте события response.audio.delta для аудио и response.text.delta для текста. Убедитесь, что сеанс установлен и что ответы корректно стримятся.