GPT-4o mini Realtime Preview

Spécifications techniques de gpt-4o-mini-realtime-preview

Qu’est-ce que gpt-4o-mini-realtime-preview ?

gpt-4o-mini-realtime-preview est un modèle multimodal en temps réel conçu pour des expériences rapides et interactives où les utilisateurs parlent, tapent ou partagent des entrées visuelles et attendent des réponses immédiates. Il convient particulièrement aux applications qui nécessitent une communication en direct aller-retour plutôt que des flux de travail classiques en requête/réponse à tour unique.

Le modèle peut traiter la parole, le texte et les images au sein d’une même expérience, ce qui le rend utile pour des assistants qui écoutent un appelant, inspectent le contenu à l’écran ou de la caméra et répondent en langage naturel ou en audio. Comme il prend en charge le streaming en entrée et en sortie, les développeurs peuvent créer des systèmes qui paraissent réactifs pendant les interactions en cours, au lieu d’attendre une réponse complète.

Il prend également en charge l’appel d’outils ou de fonctions, ce qui permet au modèle de déclencher des actions structurées telles que la recherche de données, l’appel de services backend ou l’exécution d’étapes de flux de travail. Cela fait de gpt-4o-mini-realtime-preview un excellent choix pour des agents ancrés et orientés vers l’action dans des scénarios de support client, d’opérations, de productivité et d’assistants multimodaux.

Fonctionnalités principales de gpt-4o-mini-realtime-preview

• Interaction multimodale en temps réel : Accepte et répond via la parole, le texte et les images pour des expériences live fluides.
• Audio bidirectionnel : Prend en charge des interfaces vocales conversationnelles où l’audio peut être diffusé en streaming en entrée et les réponses renvoyées en streaming.
• Réponses en streaming : Fournit des sorties partielles de manière incrémentale, réduisant la latence perçue et améliorant la réactivité.
• Compréhension visuelle : Interprète des entrées visuelles telles que des images de caméra, des captures d’écran ou d’autres images pendant une session en direct.
• Appel de fonctions et d’outils : Produit des appels structurés permettant à votre application de connecter le modèle à la logique métier, aux bases de données ou à des outils externes.
• Comportement d’agent interactif : Fonctionne bien pour des assistants qui doivent maintenir le contexte tour par tour pendant des sessions actives.
• Gestion d’appels en direct : Utile pour des scénarios d’appels téléphoniques ou web impliquant une compréhension rapide de la parole et des réponses immédiates.
• Sous-titrage et transcription en temps réel : Peut prendre en charge des expériences qui convertissent la parole en cours en texte exploitable quasi en temps réel.
• Sorties structurées pour les actions : Aide les applications à transformer l’intention conversationnelle en instructions fiables lisibles par machine.
• Expériences utilisateur à faible latence : Optimisé pour les scénarios où la réactivité est essentielle, comme le support, le coaching, la supervision et les flux de travail guidés.

Comment accéder et intégrer gpt-4o-mini-realtime-preview

Étape 1 : Inscrivez-vous pour obtenir une clé API

Commencez par créer un compte sur CometAPI et générez votre clé API depuis le tableau de bord. Cette clé est nécessaire pour authentifier chaque requête. Conservez-la en lieu sûr et évitez de l’exposer dans le code côté client ou des dépôts publics.

Étape 2 : Connectez-vous à l’API gpt-4o-mini-realtime-preview

L’API Realtime utilise des connexions WebSocket. Connectez-vous au point de terminaison WebSocket de CometAPI :

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "Vous êtes un assistant utile."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Étape 3 : Récupérer et vérifier les résultats

L’API Realtime diffuse les réponses via la connexion WebSocket sous forme d’événements envoyés par le serveur. Écoutez les événements response.audio.delta pour la sortie audio et response.text.delta pour le texte. Vérifiez que la session est établie et que les réponses sont diffusées correctement.