GPT-4o mini Realtime Preview

Specifiche tecniche di gpt-4o-mini-realtime-preview

Che cos'è gpt-4o-mini-realtime-preview?

gpt-4o-mini-realtime-preview è un modello multimodale in tempo reale progettato per esperienze rapide e interattive in cui gli utenti parlano, digitano o condividono input visivi e si aspettano risposte immediate. È adatto ad applicazioni che necessitano di comunicazione live bidirezionale, anziché dei tradizionali flussi di richiesta/risposta a singolo turno.

Il modello può elaborare voce, testo e immagini all’interno della stessa esperienza, risultando utile per assistenti che ascoltano un interlocutore, analizzano contenuti a schermo o della fotocamera e rispondono in linguaggio naturale o in audio. Poiché supporta input e output in streaming, gli sviluppatori possono creare sistemi reattivi durante le interazioni in corso, senza attendere il completamento completo.

Supporta inoltre la chiamata di strumenti o funzioni, che consente al modello di attivare azioni strutturate come consultare dati, chiamare servizi backend o eseguire passaggi di workflow. Questo rende gpt-4o-mini-realtime-preview una scelta efficace per agenti orientati all’azione e basati su fonti affidabili, in scenari di assistenza clienti, operations, produttività e assistenti multimodali.

Funzionalità principali di gpt-4o-mini-realtime-preview

• Interazione multimodale in tempo reale: accetta e risponde tramite voce, testo e immagini per esperienze live fluide.
• Audio bidirezionale: supporta interfacce vocali conversazionali in cui l’audio può essere trasmesso in streaming in ingresso e le risposte in uscita.
• Risposte in streaming: fornisce output parziali in modo incrementale, riducendo la latenza percepita e migliorando la reattività.
• Comprensione visiva: interpreta input visivi come frame della fotocamera, screenshot o altre immagini durante una sessione live.
• Chiamata di funzioni e strumenti: produce chiamate strutturate che permettono alla tua applicazione di collegare il modello alla logica di business, a database o a strumenti esterni.
• Comportamento da agente interattivo: funziona bene per assistenti che devono mantenere il contesto turno per turno durante sessioni attive.
• Gestione di chiamate live: utile per scenari telefonici o web, con comprensione rapida del parlato e risposte immediate.
• Flussi di sottotitolazione e trascrizione in tempo reale: può supportare esperienze che convertono parlato in corso in testo utilizzabile quasi in tempo reale.
• Output strutturati per azioni: aiuta le applicazioni a trasformare l’intento conversazionale in istruzioni affidabili, leggibili dalle macchine.
• Esperienze a bassa latenza: ottimizzato per scenari in cui la reattività è fondamentale, come supporto, coaching, monitoraggio e workflow guidati.

Come accedere e integrare gpt-4o-mini-realtime-preview

Passaggio 1: Registrati per ottenere la chiave API

Per prima cosa, crea un account su CometAPI e genera la tua chiave API dalla dashboard. Questa chiave è necessaria per autenticare ogni richiesta. Conservala in modo sicuro ed evita di esporla nel codice lato client o in repository pubblici.

Passaggio 2: Connettiti all’API di gpt-4o-mini-realtime-preview

La Realtime API utilizza connessioni WebSocket. Collegati all’endpoint WebSocket di CometAPI:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Passaggio 3: Recupera e verifica i risultati

La Realtime API trasmette le risposte attraverso la connessione WebSocket come eventi inviati dal server. Ascolta gli eventi response.audio.delta per l’output audio e response.text.delta per il testo. Verifica che la sessione sia stabilita e che le risposte vengano trasmesse correttamente in streaming.