GPT-Realtime-2.1 API

Spécifications techniques de GPT-Realtime-2.1

Source : documentation du modèle OpenAI GPT-Realtime-2.1.

Qu’est-ce que GPT-Realtime-2.1 ?

GPT-Realtime-2.1 est le modèle vocal temps réel avancé d’OpenAI, conçu pour créer des agents conversationnels capables d’écouter, de raisonner et de répondre naturellement par l’audio.

Comparé aux assistants vocaux traditionnels qui s’appuient sur des chaînes distinctes de reconnaissance vocale, de compréhension du langage et de synthèse vocale, GPT-Realtime-2.1 offre une interaction native voix-à-voix, permettant des conversations à plus faible latence avec une meilleure gestion des interruptions et une compréhension contextuelle renforcée.

Le modèle est optimisé pour des applications vocales en production, notamment les agents de service client, les assistants IA, l’automatisation des ventes, les plateformes éducatives et les expériences vocales interactives.

Performances de référence de GPT-Realtime-2.1

Les améliorations de GPT-Realtime-2.1 se concentrent sur des métriques pratiques d’interaction en temps réel :

Principales fonctionnalités de GPT-Realtime-2.1

1. Interaction native voix-à-voix

GPT-Realtime-2.1 supprime le besoin de chaînes distinctes de reconnaissance vocale et de synthèse vocale.

Architecture vocale traditionnelle :

User Voice
 ↓
Speech-to-Text
 ↓
LLM Processing
 ↓
Text-to-Speech
 ↓
Voice Response

GPT-Realtime-2.1 :

User Voice
 ↓
GPT-Realtime-2.1
 ↓
Voice Response

Cela réduit la latence et améliore la fluidité de la conversation.

2. Qualité de conversation vocale améliorée

GPT-Realtime-2.1 améliore plusieurs défis vocaux du monde réel :

Meilleure gestion des interruptions

Les utilisateurs peuvent interrompre l’IA naturellement pendant qu’elle parle.

Exemple :

Utilisateur :

"Réservez-moi un vol pour — en fait, changez pour Tokyo."

Le modèle peut se remettre des changements de conversation sans redémarrer l’interaction.

Meilleure gestion des silences et du bruit

Le modèle est optimisé pour des environnements où la qualité audio est imparfaite :

• Centres d’appels
• Appareils mobiles
• Espaces publics
• Appareils intelligents

3. Utilisation avancée d’outils par des agents vocaux

GPT-Realtime-2.1 prend en charge l’appel d’outils, permettant aux agents vocaux d’effectuer des actions.

Exemples :

Service client :

User:
"Where is my order?"

AI:
→ Calls order database API
→ Retrieves status
→ Responds by voice

Flux de travail d’entreprise :

Voice command
↓
Reasoning
↓
API execution
↓
Voice confirmation

Cela rend GPT-Realtime-2.1 adapté aux agents vocaux autonomes.

4. Capacité de raisonnement configurable

Contrairement aux modèles vocaux temps réel précédents principalement optimisés pour la vitesse, GPT-Realtime-2.1 introduit un effort de raisonnement configurable.

Les développeurs peuvent équilibrer :

• Latence de réponse
• Précision
• Complexité des tâches

Raisonnement faible :

• Conversations simples
• Assistants FAQ

Raisonnement plus poussé :

• Demandes client complexes
• Flux de travail multi‑étapes
• Opérations métier

5. Meilleure reconnaissance des nombres et des informations techniques

Les agents vocaux ont souvent des difficultés avec :

• Numéros de compte
• Numéros de série
• Adresses
• Codes produit
• Informations financières

GPT-Realtime-2.1 améliore la reconnaissance alphanumérique, le rendant plus adapté aux systèmes vocaux d’entreprise.

6. Prise en charge d’entrées multimodales

GPT-Realtime-2.1 prend en charge :

L’entrée d’image permet des scénarios tels que :

• Assistance client visuelle
• Interprétation de documents
• Assistants basés sur la caméra

GPT-Realtime-2.1 vs GPT-Realtime-2 vs GPT-4o Realtime

GPT-Realtime-2.1 vs GPT-Realtime-2

GPT-Realtime-2.1 améliore :

• Récupération après interruption
• Gestion du bruit
• Précision de reconnaissance
• Robustesse conversationnelle

Les deux modèles partagent :

• Architecture voix-à-voix
• Appel d’outils
• Prise en charge du raisonnement
• Accès à l’API Realtime

GPT-Realtime-2.1 vs GPT-4o Realtime

GPT-Realtime-2.1 est positionné pour des flux d’agent plus avancés.

Comparé à GPT-4o Realtime :

Comment utiliser l’API GPT-Realtime-2.1 avec CometAPI

GPT-Realtime-2.1 est conçu pour des applications d’agents vocaux à faible latence. Il prend en charge l’interaction voix‑à‑voix en temps réel, l’entrée/sortie audio, l’entrée image, un effort de raisonnement configurable et l’appel de fonctions pour des flux vocaux outillés. OpenAI l’expose via la Realtime API, incluant des méthodes de communication temps réel basées sur WebRTC, WebSocket et SIP.

CometAPI fournit une couche d’API unifiée pour intégrer des modèles d’IA avancés, permettant aux développeurs d’accéder à des flux de travail de type GPT-Realtime-2.1 sans gérer des authentifications fournisseur séparées, la logique SDK et l’infrastructure.

Étape 1 : Obtenez votre clé API CometAPI

Créez un compte CometAPI et générez un jeton API depuis la console développeur.

Votre requête API doit inclure :

Authorization: Bearer YOUR_COMETAPI_API_KEY
Content-Type: application/json

La clé API authentifie vos requêtes et permet à votre application d’appeler les modèles d’IA disponibles via CometAPI.

Étape 2 : Créez une session GPT-Realtime-2.1

GPT-Realtime-2.1 fonctionne via une session temps réel persistante plutôt qu’un échange de type requête‑réponse classique.

Une session temps réel maintient :

• Flux d’entrée audio
• Réponses du modèle
• État de la conversation
• Appels d’outils
• Interruptions

L’API Realtime d’OpenAI prend en charge la communication en temps réel via les interfaces WebRTC, WebSocket et SIP.

Exemple :

curl https://api.cometapi.com/v1/realtime/sessions \
-H "Authorization: Bearer YOUR_COMETAPI_API_KEY" \
-H "Content-Type: application/json" \
-d '
{
  "model": "gpt-realtime-2.1",
  "modalities": [
    "audio",
    "text"
  ],
  "voice": "alloy",
  "instructions": "You are a helpful customer support voice assistant."
}
'

Exemple de réponse :

{
  "id": "sess_xxxxx",
  "model": "gpt-realtime-2.1",
  "status": "active"
}

Étape 3 : Envoyez une entrée audio à GPT-Realtime-2.1

Après avoir créé une session, diffusez l’audio de l’utilisateur en streaming.

Exemple de flux de travail :

User microphone
        |
        ↓
Audio stream
        |
        ↓
GPT-Realtime-2.1
        |
        ↓
Generated voice response

L’entrée audio peut inclure :

• Conversations téléphoniques
• Commandes vocales
• Appels de support client
• Assistants interactifs

GPT-Realtime-2.1 améliore l’interaction vocale grâce à une meilleure détection des silences, une meilleure gestion du bruit et un comportement d’interruption amélioré par rapport aux modèles temps réel précédents.

Étape 4 : Recevez des réponses audio en temps réel

Le modèle renvoie des réponses audio générées via la connexion temps réel.

Événement d’exemple :

{
  "type": "response.audio.delta",
  "delta": "base64_audio_chunk"
}

Votre application peut lire immédiatement les fragments audio reçus.

Implémentations typiques :

• Applications vocales WebRTC
• Assistants dans le navigateur
• Applications vocales mobiles
• Agents téléphoniques IA

Étape 5 : Ajoutez l’appel de fonctions pour les agents vocaux

GPT-Realtime-2.1 prend en charge l’appel de fonctions, permettant aux agents vocaux d’exécuter des actions externes.

Exemple :

{
  "tools": [
    {
      "type": "function",
      "name": "check_order_status",
      "description": "Retrieve customer order information",
      "parameters": {
        "type": "object",
        "properties": {
          "order_id": {
            "type": "string"
          }
        }
      }
    }
  ]
}

Flux de travail possibles pour agents vocaux :

• "Où est mon colis ?"
• "Réservez-moi une réunion pour demain."
• "Annulez mon abonnement."
• "Consultez le solde de mon compte."

Le modèle peut reconnaître la demande, appeler l’outil approprié et poursuivre la conversation naturellement.

Étape 6 : Configurez le raisonnement et les instructions

GPT-Realtime-2.1 prend en charge un effort de raisonnement configurable.

Exemple :

{
  "model": "gpt-realtime-2.1",
  "reasoning": {
    "effort": "medium"
  },
  "instructions": "Act as a professional travel assistant."
}

Paramètres recommandés :