GPT-4o mini Realtime Preview

Technische specificaties van gpt-4o-mini-realtime-preview

Wat is gpt-4o-mini-realtime-preview?

gpt-4o-mini-realtime-preview is een realtime multimodaal model dat is ontworpen voor snelle, interactieve ervaringen waarbij gebruikers spreken, typen of visuele input delen en onmiddellijke reacties verwachten. Het is bijzonder geschikt voor toepassingen die een live heen-en-weer communicatie nodig hebben in plaats van standaard interacties met één vraag en één antwoord.

Het model kan spraak, tekst en afbeeldingen in dezelfde ervaring verwerken, waardoor het nuttig is voor assistenten die naar een beller luisteren, inhoud op het scherm of van de camera inspecteren en in natuurlijke taal of audio reageren. Omdat het streaming-invoer en -uitvoer ondersteunt, kunnen ontwikkelaars systemen bouwen die responsief aanvoelen tijdens lopende interacties in plaats van te wachten op een volledige afronding.

Het ondersteunt ook tool- of functieaanroepen, waardoor het model gestructureerde acties kan starten, zoals het opzoeken van gegevens, het aanroepen van back-endservices of het uitvoeren van workflowstappen. Dit maakt gpt-4o-mini-realtime-preview een sterke keuze voor gefundeerde, actiegerichte agenten in scenario's voor klantenondersteuning, bedrijfsvoering, productiviteit en multimodale assistenten.

Belangrijkste functies van gpt-4o-mini-realtime-preview

• Realtime multimodale interactie: Accepteert en reageert via spraak, tekst en afbeeldingen voor vloeiende live-ervaringen.
• Tweerichtingsaudio: Ondersteunt conversatiesteminterfaces waarbij audio kan worden gestreamd en reacties terug kunnen worden gestreamd.
• Streamingantwoorden: Levert gedeeltelijke outputs incrementeel, vermindert de waargenomen latentie en verbetert de responsiviteit.
• Begrip van visuele input: Interpreteert visuele input zoals cameraframes, schermafbeeldingen of andere afbeeldingen tijdens een live sessie.
• Functie- en toolaanroepen: Produceert gestructureerde aanroepen waarmee uw toepassing het model kan verbinden met bedrijfslogica, databases of externe tools.
• Interactief agentgedrag: Werkt goed voor assistenten die beurt-voor-beurt context moeten behouden tijdens actieve sessies.
• Live gespreksafhandeling: Nuttig voor telefoon- of webgesprekken die snelle spraakherkenning en directe antwoorden vereisen.
• Realtime-ondertiteling en transcriptiewerkstromen: Kan ervaringen ondersteunen die lopende spraak vrijwel in realtime omzetten in bruikbare tekst.
• Gestructureerde outputs voor acties: Helpt toepassingen om conversationele intenties om te zetten in betrouwbare, machineleesbare instructies.
• Gebruikerservaringen met lage latentie: Geoptimaliseerd voor scenario's waarbij responsiviteit belangrijk is, zoals support, coaching, monitoring en begeleide werkstromen.

Toegang krijgen tot en integreren van gpt-4o-mini-realtime-preview

Stap 1: Meld u aan voor een API-sleutel

Maak eerst een account aan op CometAPI en genereer uw API-sleutel via het dashboard. Deze sleutel is vereist om elke aanvraag te verifiëren. Sla deze veilig op en vermijd blootstelling in client-side code of openbare repositories.

Stap 2: Maak verbinding met de gpt-4o-mini-realtime-preview API

De Realtime API gebruikt WebSocket-verbindingen. Maak verbinding met het WebSocket-eindpunt van CometAPI:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Stap 3: Resultaten ophalen en verifiëren

De Realtime API streamt reacties via de WebSocket-verbinding als Server-Sent Events. Luister naar response.audio.delta-events voor audio-uitvoer en naar response.text.delta voor tekst. Controleer of de sessie tot stand is gebracht en of de antwoorden correct worden gestreamd.