GPT-4o mini Audio Preview

Spécifications techniques de gpt-4o-mini-audio-preview

Qu'est-ce que gpt-4o-mini-audio-preview ?

gpt-4o-mini-audio-preview est un modèle multimodal compact conçu pour les développeurs qui souhaitent créer des expériences audio conversationnelles. Il prend en charge à la fois l'entrée vocale et la sortie vocale en plus des interactions textuelles standard, ce qui le rend bien adapté aux applications où les utilisateurs parlent naturellement et attendent des réponses vocales ou textuelles.

Ce modèle est particulièrement utile lorsqu'un produit doit combiner la reconnaissance automatique de la parole, la compréhension du langage naturel et la synthèse vocale dans une seule boucle conversationnelle. Plutôt que de traiter la transcription, le raisonnement et la génération de réponses comme des composants séparés, gpt-4o-mini-audio-preview permet un flux de travail unifié pour des dialogues mixtes texte-audio.

Comme il prend également en charge les appels d'outils et de fonctions, le modèle peut faire plus que simplement converser. Il peut déclencher des actions structurées telles que la recherche d'informations de compte, l'acheminement d'une demande d'assistance client, la mise à jour d'enregistrements ou l'invocation d'une logique métier au sein d'une application plus vaste. Cela en fait un excellent choix pour des systèmes vocaux en production tels que des assistants virtuels, des agents de support téléphonique, des systèmes de réponse vocale interactive (IVR), des pipelines de transcription avec synthèse et des assistants produits compatibles audio.

Fonctionnalités principales de gpt-4o-mini-audio-preview

• Prise en charge de l'entrée vocale : Accepte les interactions utilisateur pilotées par l'audio afin que les applications puissent traiter naturellement les requêtes orales.
• Génération de sortie vocale : Produit des réponses audio pour des assistants, l'automatisation des appels et des expériences de guidage vocal.
• Conversations mixtes texte-audio : Prend en charge des flux où certains tours sont parlés et d'autres sont textuels, utile pour des interfaces hybrides.
• Conception multimodale compacte : Offre des capacités audio dans une empreinte de modèle plus légère, appropriée pour des applications réactives.
• Réponses diffusées en continu : Contribue à des expériences à faible latence et en temps réel telles que des assistants en direct et des systèmes de transcription en continu.
• Appels d'outils/fonctions : Permet au modèle d'invoquer des outils structurés ou des fonctions métier pour des tâches au-delà de la conversation ouverte.
• Suivi des instructions : Suit des directives au niveau de l'application pour maintenir des réponses alignées sur le comportement du produit et les exigences des flux de travail.
• Flux de travail de transcription et de synthèse : Utile pour transformer des interactions orales en sorties textuelles structurées, en résumés ou en actions en aval.
• Prêt pour l'IVR et les call-bots : Convient aux scénarios de support client et de téléphonie où l'interaction vocale et le routage des tâches sont centraux.
• Assistance audio intégrée à l'application : Peut être intégré dans des produits logiciels nécessitant une aide vocale, l'intégration des utilisateurs ou des actions guidées.

Comment accéder et intégrer gpt-4o-mini-audio-preview

Étape 1 : S'inscrire pour obtenir une clé API

Pour commencer à utiliser gpt-4o-mini-audio-preview, créez d'abord un compte sur CometAPI et générez votre clé API depuis le tableau de bord. Cette clé est utilisée pour authentifier chaque requête et connecter votre application de manière sécurisée au modèle.

Étape 2 : Envoyer des requêtes à l'API gpt-4o-mini-audio-preview

Utilisez le point de terminaison de CometAPI compatible avec OpenAI avec prise en charge de l'entrée/sortie audio.

curl https://api.cometapi.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $COMETAPI_API_KEY" \
  -d '{
    "model": "gpt-4o-mini-audio-preview",
    "modalities": ["text", "audio"],
    "audio": {
      "voice": "alloy",
      "format": "wav"
    },
    "messages": [
      {
        "role": "user",
        "content": "Tell me a short joke."
      }
    ]
  }'

Étape 3 : Récupérer et vérifier les résultats

L'API renvoie une réponse de complétion de chat standard avec un champ supplémentaire audio contenant la sortie audio encodée en base64. Décodez les données audio et vérifiez la qualité avant l'utilisation en production.