GPT-4o mini Realtime Preview

gpt-4o-mini-realtime-preview の技術仕様

gpt-4o-mini-realtime-preview とは？

gpt-4o-mini-realtime-preview は、ユーザーが話す/入力する/ビジュアルを共有する状況で即時の応答が求められる、リアルタイムかつインタラクティブな体験向けに設計されたマルチモーダルモデルです。標準的な単発のリクエスト/レスポンス型ワークフローではなく、ライブの双方向コミュニケーションを必要とするアプリケーションに適しています。

このモデルは同一の体験内で音声・テキスト・画像を処理でき、発信者の声を聞き、画面上またはカメラのコンテンツを確認し、自然言語または音声で応答するアシスタントに有用です。入力・出力のストリーミングに対応しているため、完全な応答を待たずに進行中の対話中も応答性の高い体験を実現できます。

また、ツールや関数呼び出しにも対応しており、データの参照、バックエンドサービスの呼び出し、ワークフロー実行などの構造化されたアクションをトリガーできます。これにより、顧客サポート、オペレーション、生産性向上、マルチモーダルアシスタントのシナリオにおける、根拠に基づいたアクション志向のエージェントに適した選択肢となります。

gpt-4o-mini-realtime-preview の主な機能

• リアルタイムのマルチモーダル対話: 音声・テキスト・画像を横断して受け取り応答し、滑らかなライブ体験を提供します。
• 双方向オーディオ: 会話型の音声インターフェースをサポートし、音声をストリーミング入力でき、応答もストリーミングで返せます。
• ストリーミング応答: 部分的な出力を逐次的に配信し、体感遅延を低減して応答性を高めます。
• ビジョン理解: ライブセッション中にカメラフレーム、スクリーンショット、その他の画像といった視覚入力を解釈します。
• 関数およびツール呼び出し: 構造化された呼び出しを生成し、アプリケーションが業務ロジック、データベース、外部ツールに接続できるようにします。
• インタラクティブなエージェント動作: アクティブなセッション中にターンごとのコンテキストを維持する必要があるアシスタントに適しています。
• ライブコール対応: 高速な音声理解と即時応答が求められる電話やWeb通話のシナリオに有用です。
• リアルタイム字幕・文字起こしワークフロー: 進行中の音声をほぼリアルタイムで実用的なテキストに変換する体験を支援します。
• アクション向けの構造化出力: 会話上の意図を信頼できる機械可読な指示に変換するのに役立ちます。
• 低遅延のユーザー体験: サポート、コーチング、モニタリング、ガイド付きワークフローなど、応答性が重要なシナリオに最適化されています。

gpt-4o-mini-realtime-preview へのアクセスと統合方法

ステップ1: APIキーに登録する

まず、CometAPI でアカウントを作成し、ダッシュボードから API キーを生成します。このキーはすべてのリクエストの認証に必要です。安全に保管し、クライアント側コードや公開リポジトリで露出させないでください。

ステップ2: gpt-4o-mini-realtime-preview API に接続する

Realtime API は WebSocket 接続を使用します。CometAPI の WebSocket エンドポイントに接続します:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

ステップ3: 結果を取得して検証する

Realtime API は WebSocket 接続を通じてサーバー送信イベントとして応答をストリーミングします。音声出力には response.audio.delta、テキストには response.text.delta のイベントをリッスンします。セッションが確立され、応答が正しくストリーミングされていることを確認してください。