GPT-4o mini Realtime Preview

Tekniske spesifikasjoner for gpt-4o-mini-realtime-preview

Hva er gpt-4o-mini-realtime-preview?

gpt-4o-mini-realtime-preview er en sanntidsmultimodal modell utformet for raske, interaktive opplevelser der brukere snakker, skriver eller deler visuell input og forventer umiddelbare svar. Den er godt egnet for applikasjoner som trenger live fram-og-tilbake-kommunikasjon fremfor standard arbeidsflyter med enkel forespørsel/svar.

Modellen kan behandle tale, tekst og bilder innenfor samme opplevelse, noe som gjør den nyttig for assistenter som lytter til en innringer, inspiserer innhold på skjermen eller fra kamera, og svarer med naturlig språk eller lyd. Fordi den støtter strømmende inn- og utdata, kan utviklere bygge systemer som føles responsive under pågående interaksjoner i stedet for å vente på en fullstendig fullføring.

Den støtter også verktøy- eller funksjonskall, som lar modellen utløse strukturerte handlinger som å slå opp data, kalle backend-tjenester eller utføre arbeidsflyttrinn. Dette gjør gpt-4o-mini-realtime-preview til et sterkt valg for forankrede, handlingsorienterte agenter i kundestøtte, drift, produktivitet og multimodale assistentscenarier.

Hovedfunksjoner for gpt-4o-mini-realtime-preview

• Sanntidsmultimodal interaksjon: Godtar og svarer via tale, tekst og bilder for smidige liveopplevelser.
• Toveis lyd: Støtter samtalebaserte stemmegrensesnitt der lyd kan strømmes inn og svar kan strømmes ut.
• Strømmende svar: Leverer delvise utdata inkrementelt, reduserer opplevd ventetid og forbedrer responsivitet.
• Visuell forståelse: Tolker visuelle input som kamerabilder, skjermbilder eller andre bilder under en liveøkt.
• Funksjons- og verktøykall: Produserer strukturerte kall som lar applikasjonen din koble modellen til forretningslogikk, databaser eller eksterne verktøy.
• Interaktiv agentatferd: Fungerer godt for assistenter som må opprettholde tur-for-tur-kontekst under aktive økter.
• Håndtering av live-samtaler: Nyttig for telefon- eller webanropsscenarier som krever rask taleforståelse og umiddelbare svar.
• Sanntids underteksting og transkripsjonsarbeidsflyter: Kan støtte opplevelser som konverterer pågående tale til brukbar tekst i nær sanntid.
• Strukturerte utdata for handlinger: Hjelper applikasjoner med å omgjøre samtaleintensjon til pålitelige maskinlesbare instruksjoner.
• Brukeropplevelser med lav ventetid: Optimalisert for scenarier der responsivitet er viktig, som støtte, coaching, overvåking og veiledede arbeidsflyter.

Slik får du tilgang til og integrerer gpt-4o-mini-realtime-preview

Trinn 1: Registrer deg for API-nøkkel

Opprett først en konto på CometAPI og generer API-nøkkelen din fra dashbordet. Denne nøkkelen kreves for å autentisere hver forespørsel. Oppbevar den sikkert og unngå å eksponere den i klientsidekode eller offentlige repositorier.

Trinn 2: Koble til gpt-4o-mini-realtime-preview-API

Sanntids-API-et bruker WebSocket-tilkoblinger. Koble til CometAPIs WebSocket-endepunkt:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Trinn 3: Hent og verifiser resultater

Sanntids-API-et strømmer svar gjennom WebSocket-tilkoblingen som server-sendte hendelser. Lytt etter response.audio.delta-hendelser for lydutdata og response.text.delta for tekst. Verifiser at sesjonen er opprettet og at svarene strømmer riktig.