What industries can use GPT-Realtime-2.1 API?

GPT-Realtime-2.1 sesuai untuk khidmat pelanggan, automasi jualan, pembantu penjagaan kesihatan, platform pendidikan, dan aplikasi peranti pintar.

Does GPT-Realtime-2.1 support function calling?

Ya. GPT-Realtime-2.1 menyokong penggunaan alat dan pemanggilan fungsi, membolehkan ejen suara melaksanakan tindakan luaran semasa perbualan.

How large is the GPT-Realtime-2.1 context window?

GPT-Realtime-2.1 menyokong tetingkap konteks 128,000 token dan sehingga 32,000 token keluaran.

Can GPT-Realtime-2.1 API create real-time voice assistants?

Ya. GPT-Realtime-2.1 direka untuk aplikasi pertuturan-ke-pertuturan dan membolehkan pembangun membina ejen suara perbualan berlatensi rendah.

What input and output modalities does GPT-Realtime-2.1 support?

GPT-Realtime-2.1 menyokong input/output teks dan audio serta input imej, tetapi tidak menyokong input video.

What improvements does GPT-Realtime-2.1 have over GPT-Realtime-2?

GPT-Realtime-2.1 meningkatkan pengenalan alfanumerik, pengendalian senyap, ketahanan terhadap hingar, dan tingkah laku gangguan sambil mengekalkan keupayaan penaakulan masa nyata dan penggunaan alat.

When should developers choose GPT-Realtime-2.1 instead of GPT-4o Realtime API?

Pembangun harus memilih GPT-Realtime-2.1 untuk ejen suara lanjutan yang memerlukan penaakulan lebih kukuh, pelaksanaan alat, dan aliran kerja perbualan yang kompleks.

OpenAI

Tersedia

gpt-realtime-2.1

GPT-Realtime-2.1 API

GPT-Realtime-2.1 updates GPT-Realtime-2 with improved alphanumeric recognition, silence and noise handling, and interruption behavior. It supports speech-to-speech interactions with configurable reasoning effort, instruction following, and tool use for complex voice-agent workflows.

Harga permulaan

$3.20 / 1J token input

Pengebilan berasaskan penggunaan

Kesihatan API

Tersedia

Endpoint pengeluaran

Respons

Sedia async

Masa respons API yang diperhatikan

Dikeluarkan

Aug 6, 2026

OpenAI

Gambaran Keseluruhan

Gambaran keseluruhan praktikal tentang GPT-Realtime-2.1, termasuk tingkah laku penting dan pertimbangan integrasi.

Spesifikasi Teknikal GPT-Realtime-2.1

Spesifikasi	Butiran
Nama model	GPT-Realtime-2.1
Penyedia	OpenAI
Keluarga model	Siri GPT-Realtime
Jenis model	Model penaakulan suara multimodal masa nyata
Keupayaan utama	Ejen AI pertuturan-ke-pertuturan
Mod input	Teks, Audio, Imej
Mod output	Teks, Audio
Tetingkap konteks	128,000 token
Token output maksimum	32,000 token
Sokongan penaakulan	Usaha penaakulan boleh dikonfigurasi
Panggilan fungsi	Disokong
Output berstruktur	Tidak disokong
Penalaan halus	Tidak disokong
Input video	Tidak disokong
Titik akhir API utama	Realtime API
Had pengetahuan	30 September 2024

Sumber: dokumentasi model OpenAI GPT-Realtime-2.1.

Apakah GPT-Realtime-2.1?

GPT-Realtime-2.1 ialah model suara masa nyata lanjutan daripada OpenAI yang direka untuk membina ejen AI perbualan yang boleh mendengar, membuat penaakulan, dan bertindak balas secara semula jadi melalui audio.

Berbanding pembantu suara tradisional yang bergantung pada rantaian pemprosesan berasingan untuk pengecaman pertuturan, pemahaman bahasa dan teks-ke-pertuturan, GPT-Realtime-2.1 menyediakan interaksi pertuturan-ke-pertuturan asli, membolehkan perbualan dengan kependaman lebih rendah serta pengendalian gangguan dan pemahaman konteks yang lebih baik.

Model ini dioptimumkan untuk aplikasi suara peringkat produksi termasuk ejen khidmat pelanggan, pembantu AI, automasi jualan, platform pendidikan dan pengalaman suara interaktif.

Prestasi Penanda Aras GPT-Realtime-2.1

Penambahbaikan GPT-Realtime-2.1 memfokuskan pada metrik interaksi masa nyata yang praktikal:

Keupayaan	Penambahbaikan
Pengendalian gangguan suara	Dipertingkat
Ketahanan terhadap hingar	Dipertingkat
Pengecaman abjad angka	Dipertingkat
Aliran kerja suara berasaskan alat	Disokong
Interaksi pertuturan-ke-pertuturan	Disokong

Ciri Utama GPT-Realtime-2.1

1. Interaksi Pertuturan-ke-Pertuturan Asli

GPT-Realtime-2.1 menghapuskan keperluan rantaian pemprosesan berasingan bagi pengecaman pertuturan dan teks-ke-pertuturan.

Seni bina suara tradisional:

User Voice
 ↓
Speech-to-Text
 ↓
LLM Processing
 ↓
Text-to-Speech
 ↓
Voice Response

GPT-Realtime-2.1:

User Voice
 ↓
GPT-Realtime-2.1
 ↓
Voice Response

Ini mengurangkan kependaman dan memperbaiki aliran perbualan.

2. Kualiti Perbualan Suara yang Dipertingkat

GPT-Realtime-2.1 memperbaiki beberapa cabaran suara dunia sebenar:

Pengendalian gangguan yang lebih baik

Pengguna boleh mengganggu AI secara semula jadi ketika ia sedang bercakap.

Contoh:

Pengguna:

"Tempahkan saya penerbangan ke—sebenarnya tukar kepada Tokyo."

Model boleh pulih daripada perubahan perbualan tanpa memulakan semula interaksi.

Pengendalian kesenyapan dan hingar yang lebih baik

Model dioptimumkan untuk persekitaran di mana kualiti audio tidak sempurna:

Pusat panggilan
Peranti mudah alih
Ruang awam
Peranti pintar

3. Penggunaan Alat Ejen Suara Lanjutan

GPT-Realtime-2.1 menyokong pemanggilan alat, membolehkan ejen suara melaksanakan tindakan.

Contoh:

Khidmat pelanggan:

User:
"Where is my order?"

AI:
→ Calls order database API
→ Retrieves status
→ Responds by voice

Aliran kerja perusahaan:

Voice command
↓
Reasoning
↓
API execution
↓
Voice confirmation

Ini menjadikan GPT-Realtime-2.1 sesuai untuk ejen suara autonomi.

4. Keupayaan Penaakulan Boleh Dikonfigurasi

Berbeza dengan model suara masa nyata terdahulu yang dioptimumkan terutamanya untuk kelajuan, GPT-Realtime-2.1 memperkenalkan usaha penaakulan yang boleh dikonfigurasi.

Pembangun boleh mengimbangi:

Kependaman respons
Ketepatan
Kerumitan tugas

Penaakulan rendah:

Perbualan ringkas
Pembantu Soalan Lazim

Penaakulan lebih tinggi:

Permintaan pelanggan yang kompleks
Aliran kerja berbilang langkah
Operasi perniagaan

5. Pengecaman Nombor dan Maklumat Teknikal yang Lebih Baik

Ejen suara sering menghadapi kesukaran dengan:

Nombor akaun
Nombor siri
Alamat
Kod produk
Maklumat kewangan

GPT-Realtime-2.1 meningkatkan pengecaman abjad angka, menjadikannya lebih sesuai untuk sistem suara perusahaan.

6. Sokongan Input Multimodal

GPT-Realtime-2.1 menyokong:

Input	Sokongan
Teks	✅
Audio	✅
Imej	✅
Video	❌

Input imej membolehkan senario seperti:

Sokongan pelanggan visual
Tafsiran dokumen
Pembantu berasaskan kamera

GPT-Realtime-2.1 vs GPT-Realtime-2 vs GPT-4o Realtime

Model	Kekuatan	Kegunaan Terbaik
GPT-Realtime-2.1	Penaakulan masa nyata terbaik + keupayaan ejen suara	Ejen suara peringkat produksi
GPT-Realtime-2	Penaakulan suara masa nyata yang kukuh	Aplikasi perbualan lanjutan
GPT-4o Realtime	Interaksi multimodal pantas	Pembantu suara umum

GPT-Realtime-2.1 vs GPT-Realtime-2

GPT-Realtime-2.1 memperbaiki:

Pemulihan selepas gangguan suara
Pengendalian hingar
Ketepatan pengecaman
Keteguhan perbualan

Kedua-dua model berkongsi:

Seni bina pertuturan-ke-pertuturan
Pemanggilan alat
Sokongan penaakulan
Akses API Realtime

GPT-Realtime-2.1 vs GPT-4o Realtime

GPT-Realtime-2.1 diposisikan untuk aliran kerja ejen yang lebih maju.

Berbanding GPT-4o Realtime:

Keupayaan	GPT-Realtime-2.1	GPT-4o Realtime
Penaakulan	Lebih kuat	Umum
Konteks	128K	32K
Penggunaan alat	Disokong	Disokong
Ejen suara	Maju	Umum
Aliran kerja kompleks	Lebih sesuai	Sesuai

Cara Menggunakan API GPT-Realtime-2.1 dengan CometAPI

GPT-Realtime-2.1 direka untuk aplikasi ejen suara berpendam masa rendah. Ia menyokong interaksi pertuturan-ke-pertuturan masa nyata, input/output audio, input imej, usaha penaakulan boleh dikonfigurasi, serta panggilan fungsi untuk aliran kerja suara berasaskan alat. OpenAI mendedahkannya melalui Realtime API, termasuk kaedah komunikasi masa nyata berasaskan WebRTC, WebSocket dan SIP.

CometAPI menyediakan lapisan API bersepadu untuk mengintegrasikan model AI termaju, membolehkan pembangun mengakses aliran kerja gaya GPT-Realtime-2.1 tanpa menyelenggara pengesahan penyedia, logik SDK dan infrastruktur yang berasingan.

Langkah 1: Dapatkan Kunci API CometAPI Anda

Cipta akaun CometAPI dan jana token API daripada konsol pembangun.

Permintaan API anda hendaklah merangkumi:

Authorization: Bearer YOUR_COMETAPI_API_KEY
Content-Type: application/json

Kunci API mengesahkan permintaan anda dan membolehkan aplikasi anda memanggil model AI yang tersedia melalui CometAPI.

Langkah 2: Cipta Sesi GPT-Realtime-2.1

GPT-Realtime-2.1 berfungsi melalui sesi masa nyata yang berterusan, bukannya penyempurnaan sembang permintaan-respons tradisional.

Sesi masa nyata mengekalkan:

Aliran input audio
Respons model
Keadaan perbualan
Panggilan alat
Gangguan

Realtime API OpenAI menyokong komunikasi masa nyata melalui antaramuka WebRTC, WebSocket dan SIP.

Contoh:

curl https://api.cometapi.com/v1/realtime/sessions \
-H "Authorization: Bearer YOUR_COMETAPI_API_KEY" \
-H "Content-Type: application/json" \
-d '
{
  "model": "gpt-realtime-2.1",
  "modalities": [
    "audio",
    "text"
  ],
  "voice": "alloy",
  "instructions": "You are a helpful customer support voice assistant."
}
'

Respons contoh:

{
  "id": "sess_xxxxx",
  "model": "gpt-realtime-2.1",
  "status": "active"
}

Langkah 3: Hantar Input Audio ke GPT-Realtime-2.1

Selepas mencipta sesi, strim audio pengguna.

Aliran kerja contoh:

User microphone
        |
        ↓
Audio stream
        |
        ↓
GPT-Realtime-2.1
        |
        ↓
Generated voice response

Input audio boleh merangkumi:

Perbualan telefon
Arahan suara
Panggilan sokongan pelanggan
Pembantu interaktif

GPT-Realtime-2.1 meningkatkan interaksi pertuturan dengan pengesanan senyap yang lebih baik, pengendalian hingar, dan tingkah laku gangguan berbanding model masa nyata terdahulu.

Langkah 4: Terima Respons Audio Masa Nyata

Model memulangkan respons audio yang dijana melalui sambungan masa nyata.

Peristiwa contoh:

{
  "type": "response.audio.delta",
  "delta": "base64_audio_chunk"
}

Aplikasi anda boleh serta-merta memainkan cebisan audio yang diterima.

Pelaksanaan tipikal:

Aplikasi suara WebRTC
Pembantu berasaskan pelayar
Apl suara mudah alih
Ejen telefon AI

Langkah 5: Tambah Panggilan Fungsi untuk Ejen Suara

GPT-Realtime-2.1 menyokong panggilan fungsi, membolehkan ejen suara melaksanakan tindakan luaran.

Contoh:

{
  "tools": [
    {
      "type": "function",
      "name": "check_order_status",
      "description": "Retrieve customer order information",
      "parameters": {
        "type": "object",
        "properties": {
          "order_id": {
            "type": "string"
          }
        }
      }
    }
  ]
}

Aliran kerja ejen suara yang berpotensi:

"Di mana bungkusan saya?"
"Tempahkan mesyuarat untuk saya esok."
"Batalkan langganan saya."
"Semak baki akaun saya."

Model boleh mengenal pasti permintaan, memanggil alat yang sesuai, dan meneruskan perbualan secara semula jadi.

Langkah 6: Konfigurasikan Penaakulan dan Arahan

GPT-Realtime-2.1 menyokong usaha penaakulan yang boleh dikonfigurasi.

Contoh:

{
  "model": "gpt-realtime-2.1",
  "reasoning": {
    "effort": "medium"
  },
  "instructions": "Act as a professional travel assistant."
}

Tetapan yang disyorkan:

Aplikasi	Tahap penaakulan
Arahan suara ringkas	Rendah
Sokongan pelanggan	Sederhana
Ejen aliran kerja kompleks	Tinggi

Soalan Lazim

Harga

Gunakan anggaran pantas di atas untuk satu larian, kemudian semak perbandingan penuh antara CometAPI dan harga rasmi.

Permintaan pertama

—

Anggaran kos penggunaan CometAPI

Sepuluh permintaan

—

Anggaran kos penggunaan CometAPI

Lima belas permintaan

—

Anggaran kos penggunaan CometAPI

Harga untuk GPT-Realtime-2.1

Terokai harga yang kompetitif untuk GPT-Realtime-2.1, direka bentuk untuk memenuhi pelbagai bajet dan keperluan penggunaan. Pelan fleksibel kami memastikan anda hanya membayar untuk apa yang anda gunakan, menjadikannya mudah untuk meningkatkan skala apabila keperluan anda berkembang. Temui bagaimana GPT-Realtime-2.1 boleh meningkatkan projek anda sambil mengekalkan kos yang terurus.

Model	Comet Price (USD / M Tokens)	Official Price (USD / M Tokens)	Discount
gpt-realtime-2.1	Masukan:$3.2/M Keluaran:$19.2/M	Masukan:$4/M Keluaran:$24/M	-20%
gpt-realtime-2.1-mini	Masukan:$0.48/M Keluaran:$2.88/M	Masukan:$0.6/M Keluaran:$3.6/M	-20%

API

Salin endpoint dan contoh kod yang berfungsi, kemudian buka rujukan API penuh apabila anda memerlukan semua parameter.

Satu API, akses model sedia untuk pengeluaran

Sahkan sekali sahaja, panggil endpoint model dan kekalkan aliran kerja pengebilan serta pemerhatian yang sama merentas penyedia.

GET/v1/realtime

Kod contoh dan API untuk GPT-Realtime-2.1

Akses kod sampel yang komprehensif dan sumber API untuk GPT-Realtime-2.1 bagi memperlancar proses integrasi anda. Dokumentasi terperinci kami menyediakan panduan langkah demi langkah, membantu anda memanfaatkan potensi penuh GPT-Realtime-2.1 dalam projek anda.

GET

/v1/realtime

#!/usr/bin/env bash
set -euo pipefail

# curl can perform the HTTP Upgrade handshake and print the Realtime WebSocket
# byte stream. Use the Python or JavaScript example to send framed events.
MODEL="gpt-realtime-2.1"
COMETAPI_KEY="${COMETAPI_KEY:-<YOUR_COMETAPI_KEY>}"
WEBSOCKET_KEY="$(openssl rand -base64 16)"

curl --http1.1 --include --no-buffer \
  --request GET \
  --header "Authorization: Bearer ${COMETAPI_KEY}" \
  --header "OpenAI-Beta: realtime=v1" \
  --header "Connection: Upgrade" \
  --header "Upgrade: websocket" \
  --header "Sec-WebSocket-Version: 13" \
  --header "Sec-WebSocket-Key: ${WEBSOCKET_KEY}" \
  "https://api.cometapi.com/v1/realtime""?model=${MODEL}"

cURL Code Example

#!/usr/bin/env bash
set -euo pipefail

# curl can perform the HTTP Upgrade handshake and print the Realtime WebSocket
# byte stream. Use the Python or JavaScript example to send framed events.
MODEL="gpt-realtime-2.1"
COMETAPI_KEY="${COMETAPI_KEY:-<YOUR_COMETAPI_KEY>}"
WEBSOCKET_KEY="$(openssl rand -base64 16)"

curl --http1.1 --include --no-buffer \
  --request GET \
  --header "Authorization: Bearer ${COMETAPI_KEY}" \
  --header "OpenAI-Beta: realtime=v1" \
  --header "Connection: Upgrade" \
  --header "Upgrade: websocket" \
  --header "Sec-WebSocket-Version: 13" \
  --header "Sec-WebSocket-Key: ${WEBSOCKET_KEY}" \
  "https://api.cometapi.com/v1/realtime""?model=${MODEL}"

Python Code Example

"""Send one text turn to gpt-realtime-2.1 over the Realtime WebSocket API.

Install the client with: pip install websocket-client
"""

import json
import os
from urllib.parse import urlencode

from websocket import create_connection


MODEL = "gpt-realtime-2.1"
BASE_URL = "wss://api.cometapi.com"
COMETAPI_KEY = os.environ.get("COMETAPI_KEY") or "<YOUR_COMETAPI_KEY>"


def get(path: str) -> str:
    """Build a WebSocket URL for the API's GET route."""

    return f"{BASE_URL}{path}?{urlencode({'model': MODEL})}"


socket = create_connection(
    get("/v1/realtime"),
    header=[
        f"Authorization: Bearer {COMETAPI_KEY}",
        "OpenAI-Beta: realtime=v1",
    ],
    timeout=30,
)

try:
    socket.send(
        json.dumps(
            {
                "type": "session.update",
                "session": {
                    "modalities": ["text"],
                    "instructions": "Answer clearly and concisely.",
                },
            }
        )
    )
    socket.send(
        json.dumps(
            {
                "type": "conversation.item.create",
                "item": {
                    "type": "message",
                    "role": "user",
                    "content": [
                        {
                            "type": "input_text",
                            "text": "Give me one tip for a productive meeting.",
                        }
                    ],
                },
            }
        )
    )
    socket.send(json.dumps({"type": "response.create"}))

    while True:
        event = json.loads(socket.recv())
        event_type = event.get("type")
        if event_type in {
            "response.text.delta",
            "response.output_text.delta",
            "response.audio_transcript.delta",
            "response.output_audio_transcript.delta",
        }:
            print(event.get("delta", ""), end="", flush=True)
        elif event_type == "error":
            raise RuntimeError(json.dumps(event.get("error", event), indent=2))
        elif event_type == "response.done":
            print()
            break
finally:
    socket.close()

JavaScript Code Example

// Send one text turn to gpt-realtime-2.1 over the Realtime WebSocket API.
// Requires Node.js 22 or newer, which includes a global WebSocket client.

const model = "gpt-realtime-2.1";
const baseUrl = "wss://api.cometapi.com";
const apiKey = process.env.COMETAPI_KEY || "<YOUR_COMETAPI_KEY>";

function get(path) {
  const url = new URL(`${baseUrl}${path}`);
  url.searchParams.set("model", model);
  return url;
}

const socket = new WebSocket(get("/v1/realtime"), [
  "realtime",
  `openai-insecure-api-key.${apiKey}`,
  "openai-beta.realtime-v1",
]);

socket.addEventListener("open", () => {
  socket.send(
    JSON.stringify({
      type: "session.update",
      session: {
        modalities: ["text"],
        instructions: "Answer clearly and concisely.",
      },
    }),
  );
  socket.send(
    JSON.stringify({
      type: "conversation.item.create",
      item: {
        type: "message",
        role: "user",
        content: [
          {
            type: "input_text",
            text: "Give me one tip for a productive meeting.",
          },
        ],
      },
    }),
  );
  socket.send(JSON.stringify({ type: "response.create" }));
});

socket.addEventListener("message", ({ data }) => {
  const event = JSON.parse(data.toString());
  if (
    [
      "response.text.delta",
      "response.output_text.delta",
      "response.audio_transcript.delta",
      "response.output_audio_transcript.delta",
    ].includes(event.type)
  ) {
    process.stdout.write(event.delta || "");
  } else if (event.type === "error") {
    console.error(JSON.stringify(event.error || event, null, 2));
    socket.close();
    process.exitCode = 1;
  } else if (event.type === "response.done") {
    process.stdout.write("\n");
    socket.close();
  }
});

socket.addEventListener("error", (error) => {
  console.error("WebSocket error:", error.message || error);
  process.exitCode = 1;
});

Keupayaan

Semak fakta model yang penting sebelum memilih senibina atau menganggarkan beban kerja pengeluaran.

Keupayaan yang disokong

Ciri yang dikembalikan oleh API model sedia ada.

text-to-speech

Input dan output

Input

text

Output

audio

Profil pengeluaran

Penyedia: OpenAI
Konteks: Bergantung pada model
Kegunaan komersial: Disokong

Kes penggunaan

Gunakan GPT-Realtime-2.1 untuk aliran kerja pengeluaran yang sepadan dengan keupayaan audio, kemudian bandingkan alternatif sebelum komited kepada integrasi jangka panjang.

Penjanaan suara, muzik dan audio

Pengalaman suara dan pengeluaran media

Aliran kerja audio automatik pada skala besar

Model lain

Bandingkan model lain yang tersedia melalui CometAPI berdasarkan kualiti, kependaman, keupayaan dan harga.

Buka perbandingan model →

OpenAI

gpt-audio-1.5

Model suara terbaik untuk audio masuk, audio keluar dengan Chat Completions

Lihat model

OpenAI

GPT-Realtime-2

GPT-Realtime-2 ialah model suara masa nyata kami yang paling berkeupayaan. Ia menyokong interaksi pertuturan-ke-pertuturan dengan usaha penaakulan yang boleh dikonfigurasi, keupayaan mengikuti arahan yang lebih baik, serta penggunaan alat yang lebih boleh dipercayai untuk aliran kerja ejen suara yang kompleks.

Lihat model

OpenAI

gpt-realtime-1.5

Model suara terbaik untuk input audio dan output audio.

Lihat model

OpenAI

TTS

OpenAI Teks ke Pertuturan

Lihat model

Kling

Kling TTS

[Sintesis Pertuturan] Baru dilancarkan: teks-ke-audio untuk siaran dalam talian, dengan fungsi pratonton ● Boleh sekaligus menjana audio_id, yang boleh digunakan dengan mana-mana Keling API.

Kling video ke audio

Uptime

Semak data heartbeat langsung, ketersediaan endpoint dan masa respons yang diperhatikan sebelum ke pengeluaran.

Versi

Semak pengecam model yang tersedia sebelum menetapkan integrasi pengeluaran.

gpt-realtime-2.1

gpt-realtime-2.1-mini

Terus terokai

Bandingkan model dan teruskan penyelidikan anda

OpenAI

Tersedia

gpt-realtime-2.1

GPT-Realtime-2.1 API

Harga permulaan

$3.20 / 1J token input

Pengebilan berasaskan penggunaan

Kesihatan API

Tersedia

Endpoint pengeluaran

Respons

Sedia async

Masa respons API yang diperhatikan

Dikeluarkan

Aug 6, 2026

OpenAI

Gambaran Keseluruhan

Gambaran keseluruhan praktikal tentang GPT-Realtime-2.1, termasuk tingkah laku penting dan pertimbangan integrasi.

Spesifikasi Teknikal GPT-Realtime-2.1

Spesifikasi	Butiran
Nama model	GPT-Realtime-2.1
Penyedia	OpenAI
Keluarga model	Siri GPT-Realtime
Jenis model	Model penaakulan suara multimodal masa nyata
Keupayaan utama	Ejen AI pertuturan-ke-pertuturan
Mod input	Teks, Audio, Imej
Mod output	Teks, Audio
Tetingkap konteks	128,000 token
Token output maksimum	32,000 token
Sokongan penaakulan	Usaha penaakulan boleh dikonfigurasi
Panggilan fungsi	Disokong
Output berstruktur	Tidak disokong
Penalaan halus	Tidak disokong
Input video	Tidak disokong
Titik akhir API utama	Realtime API
Had pengetahuan	30 September 2024

Sumber: dokumentasi model OpenAI GPT-Realtime-2.1.

Apakah GPT-Realtime-2.1?

Model ini dioptimumkan untuk aplikasi suara peringkat produksi termasuk ejen khidmat pelanggan, pembantu AI, automasi jualan, platform pendidikan dan pengalaman suara interaktif.

Prestasi Penanda Aras GPT-Realtime-2.1

Penambahbaikan GPT-Realtime-2.1 memfokuskan pada metrik interaksi masa nyata yang praktikal:

Keupayaan	Penambahbaikan
Pengendalian gangguan suara	Dipertingkat
Ketahanan terhadap hingar	Dipertingkat
Pengecaman abjad angka	Dipertingkat
Aliran kerja suara berasaskan alat	Disokong
Interaksi pertuturan-ke-pertuturan	Disokong

Ciri Utama GPT-Realtime-2.1

1. Interaksi Pertuturan-ke-Pertuturan Asli

GPT-Realtime-2.1 menghapuskan keperluan rantaian pemprosesan berasingan bagi pengecaman pertuturan dan teks-ke-pertuturan.

Seni bina suara tradisional:

User Voice
 ↓
Speech-to-Text
 ↓
LLM Processing
 ↓
Text-to-Speech
 ↓
Voice Response

GPT-Realtime-2.1:

User Voice
 ↓
GPT-Realtime-2.1
 ↓
Voice Response

Ini mengurangkan kependaman dan memperbaiki aliran perbualan.

2. Kualiti Perbualan Suara yang Dipertingkat

GPT-Realtime-2.1 memperbaiki beberapa cabaran suara dunia sebenar:

Pengendalian gangguan yang lebih baik

Pengguna boleh mengganggu AI secara semula jadi ketika ia sedang bercakap.

Contoh:

Pengguna:

"Tempahkan saya penerbangan ke—sebenarnya tukar kepada Tokyo."

Model boleh pulih daripada perubahan perbualan tanpa memulakan semula interaksi.

Pengendalian kesenyapan dan hingar yang lebih baik

Model dioptimumkan untuk persekitaran di mana kualiti audio tidak sempurna:

Pusat panggilan
Peranti mudah alih
Ruang awam
Peranti pintar

3. Penggunaan Alat Ejen Suara Lanjutan

GPT-Realtime-2.1 menyokong pemanggilan alat, membolehkan ejen suara melaksanakan tindakan.

Contoh:

Khidmat pelanggan:

User:
"Where is my order?"

AI:
→ Calls order database API
→ Retrieves status
→ Responds by voice

Aliran kerja perusahaan:

Voice command
↓
Reasoning
↓
API execution
↓
Voice confirmation

Ini menjadikan GPT-Realtime-2.1 sesuai untuk ejen suara autonomi.

4. Keupayaan Penaakulan Boleh Dikonfigurasi

Berbeza dengan model suara masa nyata terdahulu yang dioptimumkan terutamanya untuk kelajuan, GPT-Realtime-2.1 memperkenalkan usaha penaakulan yang boleh dikonfigurasi.

Pembangun boleh mengimbangi:

Kependaman respons
Ketepatan
Kerumitan tugas

Penaakulan rendah:

Perbualan ringkas
Pembantu Soalan Lazim

Penaakulan lebih tinggi:

Permintaan pelanggan yang kompleks
Aliran kerja berbilang langkah
Operasi perniagaan

5. Pengecaman Nombor dan Maklumat Teknikal yang Lebih Baik

Ejen suara sering menghadapi kesukaran dengan:

Nombor akaun
Nombor siri
Alamat
Kod produk
Maklumat kewangan

GPT-Realtime-2.1 meningkatkan pengecaman abjad angka, menjadikannya lebih sesuai untuk sistem suara perusahaan.

6. Sokongan Input Multimodal

GPT-Realtime-2.1 menyokong:

Input	Sokongan
Teks	✅
Audio	✅
Imej	✅
Video	❌

Input imej membolehkan senario seperti:

Sokongan pelanggan visual
Tafsiran dokumen
Pembantu berasaskan kamera

GPT-Realtime-2.1 vs GPT-Realtime-2 vs GPT-4o Realtime

Model	Kekuatan	Kegunaan Terbaik
GPT-Realtime-2.1	Penaakulan masa nyata terbaik + keupayaan ejen suara	Ejen suara peringkat produksi
GPT-Realtime-2	Penaakulan suara masa nyata yang kukuh	Aplikasi perbualan lanjutan
GPT-4o Realtime	Interaksi multimodal pantas	Pembantu suara umum

GPT-Realtime-2.1 vs GPT-Realtime-2

GPT-Realtime-2.1 memperbaiki:

Pemulihan selepas gangguan suara
Pengendalian hingar
Ketepatan pengecaman
Keteguhan perbualan

Kedua-dua model berkongsi:

Seni bina pertuturan-ke-pertuturan
Pemanggilan alat
Sokongan penaakulan
Akses API Realtime

GPT-Realtime-2.1 vs GPT-4o Realtime

GPT-Realtime-2.1 diposisikan untuk aliran kerja ejen yang lebih maju.

Berbanding GPT-4o Realtime:

Keupayaan	GPT-Realtime-2.1	GPT-4o Realtime
Penaakulan	Lebih kuat	Umum
Konteks	128K	32K
Penggunaan alat	Disokong	Disokong
Ejen suara	Maju	Umum
Aliran kerja kompleks	Lebih sesuai	Sesuai

Cara Menggunakan API GPT-Realtime-2.1 dengan CometAPI

Langkah 1: Dapatkan Kunci API CometAPI Anda

Cipta akaun CometAPI dan jana token API daripada konsol pembangun.

Permintaan API anda hendaklah merangkumi:

Authorization: Bearer YOUR_COMETAPI_API_KEY
Content-Type: application/json

Kunci API mengesahkan permintaan anda dan membolehkan aplikasi anda memanggil model AI yang tersedia melalui CometAPI.

Langkah 2: Cipta Sesi GPT-Realtime-2.1

GPT-Realtime-2.1 berfungsi melalui sesi masa nyata yang berterusan, bukannya penyempurnaan sembang permintaan-respons tradisional.

Sesi masa nyata mengekalkan:

Aliran input audio
Respons model
Keadaan perbualan
Panggilan alat
Gangguan

Realtime API OpenAI menyokong komunikasi masa nyata melalui antaramuka WebRTC, WebSocket dan SIP.

Contoh:

curl https://api.cometapi.com/v1/realtime/sessions \
-H "Authorization: Bearer YOUR_COMETAPI_API_KEY" \
-H "Content-Type: application/json" \
-d '
{
  "model": "gpt-realtime-2.1",
  "modalities": [
    "audio",
    "text"
  ],
  "voice": "alloy",
  "instructions": "You are a helpful customer support voice assistant."
}
'

Respons contoh:

{
  "id": "sess_xxxxx",
  "model": "gpt-realtime-2.1",
  "status": "active"
}

Langkah 3: Hantar Input Audio ke GPT-Realtime-2.1

Selepas mencipta sesi, strim audio pengguna.

Aliran kerja contoh:

User microphone
        |
        ↓
Audio stream
        |
        ↓
GPT-Realtime-2.1
        |
        ↓
Generated voice response

Input audio boleh merangkumi:

Perbualan telefon
Arahan suara
Panggilan sokongan pelanggan
Pembantu interaktif

GPT-Realtime-2.1 meningkatkan interaksi pertuturan dengan pengesanan senyap yang lebih baik, pengendalian hingar, dan tingkah laku gangguan berbanding model masa nyata terdahulu.

Langkah 4: Terima Respons Audio Masa Nyata

Model memulangkan respons audio yang dijana melalui sambungan masa nyata.

Peristiwa contoh:

{
  "type": "response.audio.delta",
  "delta": "base64_audio_chunk"
}

Aplikasi anda boleh serta-merta memainkan cebisan audio yang diterima.

Pelaksanaan tipikal:

Aplikasi suara WebRTC
Pembantu berasaskan pelayar
Apl suara mudah alih
Ejen telefon AI

Langkah 5: Tambah Panggilan Fungsi untuk Ejen Suara

GPT-Realtime-2.1 menyokong panggilan fungsi, membolehkan ejen suara melaksanakan tindakan luaran.

Contoh:

{
  "tools": [
    {
      "type": "function",
      "name": "check_order_status",
      "description": "Retrieve customer order information",
      "parameters": {
        "type": "object",
        "properties": {
          "order_id": {
            "type": "string"
          }
        }
      }
    }
  ]
}

Aliran kerja ejen suara yang berpotensi:

"Di mana bungkusan saya?"
"Tempahkan mesyuarat untuk saya esok."
"Batalkan langganan saya."
"Semak baki akaun saya."

Model boleh mengenal pasti permintaan, memanggil alat yang sesuai, dan meneruskan perbualan secara semula jadi.

Langkah 6: Konfigurasikan Penaakulan dan Arahan

GPT-Realtime-2.1 menyokong usaha penaakulan yang boleh dikonfigurasi.

Contoh:

{
  "model": "gpt-realtime-2.1",
  "reasoning": {
    "effort": "medium"
  },
  "instructions": "Act as a professional travel assistant."
}

Tetapan yang disyorkan:

Aplikasi	Tahap penaakulan
Arahan suara ringkas	Rendah
Sokongan pelanggan	Sederhana
Ejen aliran kerja kompleks	Tinggi

Soalan Lazim

Harga

Gunakan anggaran pantas di atas untuk satu larian, kemudian semak perbandingan penuh antara CometAPI dan harga rasmi.

Permintaan pertama

—

Anggaran kos penggunaan CometAPI

Sepuluh permintaan

—

Anggaran kos penggunaan CometAPI

Lima belas permintaan

—

Anggaran kos penggunaan CometAPI

Harga untuk GPT-Realtime-2.1

Model	Comet Price (USD / M Tokens)	Official Price (USD / M Tokens)	Discount
gpt-realtime-2.1	Masukan:$3.2/M Keluaran:$19.2/M	Masukan:$4/M Keluaran:$24/M	-20%
gpt-realtime-2.1-mini	Masukan:$0.48/M Keluaran:$2.88/M	Masukan:$0.6/M Keluaran:$3.6/M	-20%

API

Salin endpoint dan contoh kod yang berfungsi, kemudian buka rujukan API penuh apabila anda memerlukan semua parameter.

Satu API, akses model sedia untuk pengeluaran

Sahkan sekali sahaja, panggil endpoint model dan kekalkan aliran kerja pengebilan serta pemerhatian yang sama merentas penyedia.

GET/v1/realtime

Kod contoh dan API untuk GPT-Realtime-2.1

GET

/v1/realtime

#!/usr/bin/env bash
set -euo pipefail

# curl can perform the HTTP Upgrade handshake and print the Realtime WebSocket
# byte stream. Use the Python or JavaScript example to send framed events.
MODEL="gpt-realtime-2.1"
COMETAPI_KEY="${COMETAPI_KEY:-<YOUR_COMETAPI_KEY>}"
WEBSOCKET_KEY="$(openssl rand -base64 16)"

curl --http1.1 --include --no-buffer \
  --request GET \
  --header "Authorization: Bearer ${COMETAPI_KEY}" \
  --header "OpenAI-Beta: realtime=v1" \
  --header "Connection: Upgrade" \
  --header "Upgrade: websocket" \
  --header "Sec-WebSocket-Version: 13" \
  --header "Sec-WebSocket-Key: ${WEBSOCKET_KEY}" \
  "https://api.cometapi.com/v1/realtime""?model=${MODEL}"

cURL Code Example

#!/usr/bin/env bash
set -euo pipefail

# curl can perform the HTTP Upgrade handshake and print the Realtime WebSocket
# byte stream. Use the Python or JavaScript example to send framed events.
MODEL="gpt-realtime-2.1"
COMETAPI_KEY="${COMETAPI_KEY:-<YOUR_COMETAPI_KEY>}"
WEBSOCKET_KEY="$(openssl rand -base64 16)"

curl --http1.1 --include --no-buffer \
  --request GET \
  --header "Authorization: Bearer ${COMETAPI_KEY}" \
  --header "OpenAI-Beta: realtime=v1" \
  --header "Connection: Upgrade" \
  --header "Upgrade: websocket" \
  --header "Sec-WebSocket-Version: 13" \
  --header "Sec-WebSocket-Key: ${WEBSOCKET_KEY}" \
  "https://api.cometapi.com/v1/realtime""?model=${MODEL}"

Python Code Example

"""Send one text turn to gpt-realtime-2.1 over the Realtime WebSocket API.

Install the client with: pip install websocket-client
"""

import json
import os
from urllib.parse import urlencode

from websocket import create_connection


MODEL = "gpt-realtime-2.1"
BASE_URL = "wss://api.cometapi.com"
COMETAPI_KEY = os.environ.get("COMETAPI_KEY") or "<YOUR_COMETAPI_KEY>"


def get(path: str) -> str:
    """Build a WebSocket URL for the API's GET route."""

    return f"{BASE_URL}{path}?{urlencode({'model': MODEL})}"


socket = create_connection(
    get("/v1/realtime"),
    header=[
        f"Authorization: Bearer {COMETAPI_KEY}",
        "OpenAI-Beta: realtime=v1",
    ],
    timeout=30,
)

try:
    socket.send(
        json.dumps(
            {
                "type": "session.update",
                "session": {
                    "modalities": ["text"],
                    "instructions": "Answer clearly and concisely.",
                },
            }
        )
    )
    socket.send(
        json.dumps(
            {
                "type": "conversation.item.create",
                "item": {
                    "type": "message",
                    "role": "user",
                    "content": [
                        {
                            "type": "input_text",
                            "text": "Give me one tip for a productive meeting.",
                        }
                    ],
                },
            }
        )
    )
    socket.send(json.dumps({"type": "response.create"}))

    while True:
        event = json.loads(socket.recv())
        event_type = event.get("type")
        if event_type in {
            "response.text.delta",
            "response.output_text.delta",
            "response.audio_transcript.delta",
            "response.output_audio_transcript.delta",
        }:
            print(event.get("delta", ""), end="", flush=True)
        elif event_type == "error":
            raise RuntimeError(json.dumps(event.get("error", event), indent=2))
        elif event_type == "response.done":
            print()
            break
finally:
    socket.close()

JavaScript Code Example

// Send one text turn to gpt-realtime-2.1 over the Realtime WebSocket API.
// Requires Node.js 22 or newer, which includes a global WebSocket client.

const model = "gpt-realtime-2.1";
const baseUrl = "wss://api.cometapi.com";
const apiKey = process.env.COMETAPI_KEY || "<YOUR_COMETAPI_KEY>";

function get(path) {
  const url = new URL(`${baseUrl}${path}`);
  url.searchParams.set("model", model);
  return url;
}

const socket = new WebSocket(get("/v1/realtime"), [
  "realtime",
  `openai-insecure-api-key.${apiKey}`,
  "openai-beta.realtime-v1",
]);

socket.addEventListener("open", () => {
  socket.send(
    JSON.stringify({
      type: "session.update",
      session: {
        modalities: ["text"],
        instructions: "Answer clearly and concisely.",
      },
    }),
  );
  socket.send(
    JSON.stringify({
      type: "conversation.item.create",
      item: {
        type: "message",
        role: "user",
        content: [
          {
            type: "input_text",
            text: "Give me one tip for a productive meeting.",
          },
        ],
      },
    }),
  );
  socket.send(JSON.stringify({ type: "response.create" }));
});

socket.addEventListener("message", ({ data }) => {
  const event = JSON.parse(data.toString());
  if (
    [
      "response.text.delta",
      "response.output_text.delta",
      "response.audio_transcript.delta",
      "response.output_audio_transcript.delta",
    ].includes(event.type)
  ) {
    process.stdout.write(event.delta || "");
  } else if (event.type === "error") {
    console.error(JSON.stringify(event.error || event, null, 2));
    socket.close();
    process.exitCode = 1;
  } else if (event.type === "response.done") {
    process.stdout.write("\n");
    socket.close();
  }
});

socket.addEventListener("error", (error) => {
  console.error("WebSocket error:", error.message || error);
  process.exitCode = 1;
});

Keupayaan

Semak fakta model yang penting sebelum memilih senibina atau menganggarkan beban kerja pengeluaran.

Keupayaan yang disokong

Ciri yang dikembalikan oleh API model sedia ada.

text-to-speech

Input dan output

Input

text

Output

audio

Profil pengeluaran

Penyedia: OpenAI
Konteks: Bergantung pada model
Kegunaan komersial: Disokong

Kes penggunaan

Gunakan GPT-Realtime-2.1 untuk aliran kerja pengeluaran yang sepadan dengan keupayaan audio, kemudian bandingkan alternatif sebelum komited kepada integrasi jangka panjang.

Penjanaan suara, muzik dan audio

Pengalaman suara dan pengeluaran media

Aliran kerja audio automatik pada skala besar

Model lain

Bandingkan model lain yang tersedia melalui CometAPI berdasarkan kualiti, kependaman, keupayaan dan harga.

Buka perbandingan model →

OpenAI

gpt-audio-1.5

Model suara terbaik untuk audio masuk, audio keluar dengan Chat Completions

Model suara terbaik untuk input audio dan output audio.

Lihat model

OpenAI

TTS

OpenAI Teks ke Pertuturan

Lihat model

Kling

Kling TTS

[Sintesis Pertuturan] Baru dilancarkan: teks-ke-audio untuk siaran dalam talian, dengan fungsi pratonton ● Boleh sekaligus menjana audio_id, yang boleh digunakan dengan mana-mana Keling API.

Kling video ke audio

Uptime

Semak data heartbeat langsung, ketersediaan endpoint dan masa respons yang diperhatikan sebelum ke pengeluaran.

Versi

Semak pengecam model yang tersedia sebelum menetapkan integrasi pengeluaran.

gpt-realtime-2.1

gpt-realtime-2.1-mini

Terus terokai