GPT-Realtime-2.1 API

Tekniske specifikationer for GPT-Realtime-2.1

Kilde: OpenAI GPT-Realtime-2.1 modeldokumentation.

Hvad er GPT-Realtime-2.1?

GPT-Realtime-2.1 er OpenAIs avancerede realtids stemmemodel, designet til at bygge konversationelle AI-agenter, der kan lytte, ræsonnere og svare naturligt via lyd.

Sammenlignet med traditionelle stemmeassistenter, der er afhængige af separate pipelines for talegenkendelse, sprogforståelse og tekst-til-tale, leverer GPT-Realtime-2.1 indbygget tale-til-tale-interaktion, hvilket muliggør samtaler med lavere latenstid, bedre afbrydelseshåndtering og stærkere kontekstforståelse.

Modellen er optimeret til produktionsklare stemmeapplikationer, herunder kundeserviceagenter, AI-assistenter, salgsautomatisering, læringsplatforme og interaktive stemmeoplevelser.

GPT-Realtime-2.1 benchmark-ydelse

GPT-Realtime-2.1s forbedringer fokuserer på praktiske realtids-interaktionsmålinger:

Hovedfunktioner i GPT-Realtime-2.1

1. Indbygget tale-til-tale-interaktion

GPT-Realtime-2.1 eliminerer behovet for separate pipelines til talegenkendelse og tekst-til-tale.

Traditionel stemmearkitektur:

User Voice
 ↓
Speech-to-Text
 ↓
LLM Processing
 ↓
Text-to-Speech
 ↓
Voice Response

GPT-Realtime-2.1:

User Voice
 ↓
GPT-Realtime-2.1
 ↓
Voice Response

Dette reducerer latenstid og forbedrer samtaleflowet.

2. Forbedret kvalitet i stemmesamtaler

GPT-Realtime-2.1 forbedrer flere virkelige udfordringer ved stemmeinteraktion:

Bedre afbrydelseshåndtering

Brugere kan afbryde AI’en naturligt, mens den taler.

Eksempel:

Bruger:

"Book en flyrejse til—nej, ret det til Tokyo."

Modellen kan komme sig over samtalemæssige ændringer uden at genstarte interaktionen.

Bedre håndtering af stilhed og støj

Modellen er optimeret til miljøer, hvor lydkvaliteten ikke er perfekt:

• Callcentre
• Mobile enheder
• Offentlige rum
• Smartenheder

3. Avanceret værktøjsbrug for stemmeagenter

GPT-Realtime-2.1 understøtter værktøjskald, så stemmeagenter kan udføre handlinger.

Eksempler:

Kundeservice:

User:
"Where is my order?"

AI:
→ Calls order database API
→ Retrieves status
→ Responds by voice

Virksomhedsworkflow:

Voice command
↓
Reasoning
↓
API execution
↓
Voice confirmation

Dette gør GPT-Realtime-2.1 velegnet til autonome stemmeagenter.

4. Konfigurerbar ræsonnementsevne

I modsætning til tidligere realtids-stemmemodeller, der primært var optimeret til hastighed, introducerer GPT-Realtime-2.1 konfigurerbar ræsonnementsindsats.

Udviklere kan balancere:

• Svartid (latenstid)
• Nøjagtighed
• Opgavekompleksitet

Lavt ræsonnement:

• Enkle samtaler
• FAQ-assistenter

Højere ræsonnement:

• Komplekse kundehenvendelser
• Flertrins-workflows
• Forretningsdrift

5. Bedre genkendelse af tal og teknisk information

Stemmeagenter kæmper ofte med:

• Kontonumre
• Serienumre
• Adresser
• Produktkoder
• Finansielle oplysninger

GPT-Realtime-2.1 forbedrer alfanumerisk genkendelse og gør den mere egnet til enterprise-stemmesystemer.

6. Multimodal input-understøttelse

GPT-Realtime-2.1 understøtter:

Billedinput muliggør scenarier som:

• Visuel kundesupport
• Dokumentfortolkning
• Kamerabaserede assistenter

GPT-Realtime-2.1 vs GPT-Realtime-2 vs GPT-4o Realtime

GPT-Realtime-2.1 vs GPT-Realtime-2

GPT-Realtime-2.1 forbedrer:

• Genopretning efter afbrydelser i tale
• Støjhåndtering
• Genkendelsesnøjagtighed
• Samtalerobusthed

Begge modeller har:

• Tale-til-tale-arkitektur
• Værktøjskald
• Understøttelse af ræsonnement
• Adgang via Realtime API

GPT-Realtime-2.1 vs GPT-4o Realtime

GPT-Realtime-2.1 er målrettet mere avancerede agent-workflows.

Sammenlignet med GPT-4o Realtime:

Sådan bruger du GPT-Realtime-2.1 API med CometAPI

GPT-Realtime-2.1 er designet til stemmeagenter med lav latenstid. Den understøtter realtids tale-til-tale-interaktion, lydinput/-output, billedinput, konfigurerbar ræsonnementsindsats og funktionskald til værktøjsaktiverede stemme-workflows. OpenAI stiller den til rådighed via Realtime API, inklusive WebRTC-, WebSocket- og SIP-baserede realtidskommunikationsmetoder.

CometAPI giver et samlet API-lag til integration af avancerede AI-modeller, så udviklere kan få adgang til GPT-Realtime-2.1-lignende workflows uden at vedligeholde separat udbyderautentificering, SDK-logik og infrastruktur.

Trin 1: Hent din CometAPI API-nøgle

Opret en CometAPI-konto og generér et API-token fra udviklerkonsollen.

Din API-anmodning skal indeholde:

Authorization: Bearer YOUR_COMETAPI_API_KEY
Content-Type: application/json

API-nøglen autentificerer dine anmodninger og gør det muligt for din applikation at kalde tilgængelige AI-modeller via CometAPI.

Trin 2: Opret en GPT-Realtime-2.1-session

GPT-Realtime-2.1 fungerer via en vedvarende realtids-session i stedet for traditionelle request-response chatkompletteringer.

En realtids-session opretholder:

• Lydinputstrøm
• Modellens svar
• Samtalestatus
• Værktøjskald
• Afbrydelser

OpenAIs Realtime API understøtter realtidskommunikation via WebRTC-, WebSocket- og SIP-grænseflader.

Eksempel:

curl https://api.cometapi.com/v1/realtime/sessions \
-H "Authorization: Bearer YOUR_COMETAPI_API_KEY" \
-H "Content-Type: application/json" \
-d '
{
  "model": "gpt-realtime-2.1",
  "modalities": [
    "audio",
    "text"
  ],
  "voice": "alloy",
  "instructions": "You are a helpful customer support voice assistant."
}
'

Eksempelsvar:

{
  "id": "sess_xxxxx",
  "model": "gpt-realtime-2.1",
  "status": "active"
}

Trin 3: Send lydinput til GPT-Realtime-2.1

Når sessionen er oprettet, skal du streame brugerens lyd.

Eksempelworkflow:

User microphone
        |
        ↓
Audio stream
        |
        ↓
GPT-Realtime-2.1
        |
        ↓
Generated voice response

Lydinput kan omfatte:

• Telefonsamtaler
• Stemmestyring
• Kundesupportopkald
• Interaktive assistenter

GPT-Realtime-2.1 forbedrer stemmeinteraktion med bedre stilhedsdetektion, støjhåndtering og afbrydelsesadfærd sammenlignet med tidligere realtidsmodeller.

Trin 4: Modtag realtids-lydsvar

Modellen returnerer genererede lydsvar via realtidsforbindelsen.

Eksempelhændelse:

{
  "type": "response.audio.delta",
  "delta": "base64_audio_chunk"
}

Din applikation kan afspille modtagne lydstumper med det samme.

Typiske implementeringer:

• WebRTC-stemmeapplikationer
• Browserbaserede assistenter
• Mobile stemmeapps
• AI-telefonagenter

Trin 5: Tilføj funktionskald for stemmeagenter

GPT-Realtime-2.1 understøtter funktionskald, så stemmeagenter kan udføre eksterne handlinger.

Eksempel:

{
  "tools": [
    {
      "type": "function",
      "name": "check_order_status",
      "description": "Retrieve customer order information",
      "parameters": {
        "type": "object",
        "properties": {
          "order_id": {
            "type": "string"
          }
        }
      }
    }
  ]
}

Mulige stemmeagent-workflows:

• "Where is my package?"
• "Book me a meeting tomorrow."
• "Cancel my subscription."
• "Check my account balance."

Modellen kan genkende forespørgslen, kalde det relevante værktøj og fortsætte samtalen naturligt.

Trin 6: Konfigurer ræsonnement og instruktioner

GPT-Realtime-2.1 understøtter konfigurerbar ræsonnementsindsats.

Eksempel:

{
  "model": "gpt-realtime-2.1",
  "reasoning": {
    "effort": "medium"
  },
  "instructions": "Act as a professional travel assistant."
}

Anbefalede indstillinger: