GPT-4o mini Realtime Preview

Tekniske specifikationer for gpt-4o-mini-realtime-preview

Hvad er gpt-4o-mini-realtime-preview?

gpt-4o-mini-realtime-preview er en multimodal model i realtid, designet til hurtige, interaktive oplevelser, hvor brugere taler, skriver eller deler visuelt input og forventer øjeblikkelige svar. Den egner sig godt til applikationer, der har brug for live frem-og-tilbage-kommunikation frem for standard-workflows med enkelt forespørgsel/svar.

Modellen kan behandle tale, tekst og billeder i den samme oplevelse, hvilket gør den nyttig for assistenter, der lytter til en bruger, inspicerer indhold på skærmen eller fra kameraet og svarer i naturligt sprog eller som lyd. Fordi den understøtter streaming af input og output, kan udviklere bygge systemer, der føles responsive under igangværende interaktioner i stedet for at vente på en fuld færdiggørelse.

Den understøtter også værktøjer eller funktionskald, hvilket gør det muligt for modellen at udløse strukturerede handlinger såsom at slå data op, kalde backend-tjenester eller udføre workflow-trin. Dette gør gpt-4o-mini-realtime-preview til et stærkt valg for faktabaserede, handlingsorienterede agenter inden for kundesupport, drift, produktivitet og multimodale assistentscenarier.

Hovedfunktioner i gpt-4o-mini-realtime-preview

• Multimodal interaktion i realtid: Accepterer og svarer på tværs af tale, tekst og billeder for flydende live-oplevelser.
• Tovejs lyd: Understøtter samtale-baserede stemmegrænseflader, hvor lyd kan streames ind, og svar kan streames tilbage ud.
• Streaming-svar: Leverer delvise outputs løbende, reducerer oplevet latenstid og forbedrer responsivitet.
• Visuel forståelse: Fortolker visuelle input såsom kamerabilleder, skærmbilleder eller andre billeder under en live-session.
• Funktions- og værktøjskald: Producerer strukturerede kald, så din applikation kan forbinde modellen til forretningslogik, databaser eller eksterne værktøjer.
• Interaktiv agentadfærd: Fungerer godt til assistenter, der skal fastholde tur-for-tur-kontekst under aktive sessioner.
• Håndtering af live-opkald: Nyttig til telefon- eller webopkaldsscenarier med hurtig taleforståelse og øjeblikkelige svar.
• Arbejdsgange til undertekstning og transskription i realtid: Kan understøtte oplevelser, der konverterer løbende tale til brugbar tekst næsten i realtid.
• Strukturerede outputs til handlinger: Hjælper applikationer med at omsætte samtaleintentioner til pålidelige, maskinlæsbare instruktioner.
• Brugeroplevelser med lav latenstid: Optimeret til scenarier, hvor responsivitet er afgørende, såsom support, coaching, overvågning og guidede workflows.

Sådan får du adgang til og integrerer gpt-4o-mini-realtime-preview

Trin 1: Tilmeld dig for at få en API-nøgle

Opret først en konto på CometAPI og generér din API-nøgle fra dashboardet. Denne nøgle er påkrævet for at autentificere hver anmodning. Opbevar den sikkert, og undgå at eksponere den i klientsidekode eller offentlige repositories.

Trin 2: Opret forbindelse til gpt-4o-mini-realtime-preview-API'et

Realtime API'et bruger WebSocket-forbindelser. Opret forbindelse til CometAPI’s WebSocket-endpoint:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Trin 3: Hent og verificér resultater

Realtime API'et streamer svar gennem WebSocket-forbindelsen som server-sendte hændelser. Lyt efter response.audio.delta-hændelser for lydoutput og response.text.delta for tekst. Verificér, at sessionen er etableret, og at svarene bliver streamet korrekt.