GPT-4o mini Realtime Preview

Technische Spezifikationen von gpt-4o-mini-realtime-preview

Was ist gpt-4o-mini-realtime-preview?

gpt-4o-mini-realtime-preview ist ein Echtzeit-multimodales Modell, das für schnelle, interaktive Erlebnisse entwickelt wurde, bei denen Nutzer sprechen, tippen oder visuelle Eingaben teilen und sofortige Antworten erwarten. Es eignet sich gut für Anwendungen, die Live-Kommunikation mit wechselseitigem Austausch benötigen, anstatt eines standardmäßigen Einzelschritt-Request/Response-Workflows.

Das Modell kann Sprache, Text und Bilder innerhalb desselben Erlebnisses verarbeiten und ist damit nützlich für Assistenten, die einem Anrufer zuhören, Inhalte auf dem Bildschirm oder der Kamera prüfen und in natürlicher Sprache oder Audio antworten. Da es Streaming für Eingaben und Ausgaben unterstützt, können Entwickler Systeme erstellen, die sich während laufender Interaktionen reaktionsschnell anfühlen, anstatt auf eine vollständige Antwort zu warten.

Es unterstützt außerdem Tool- bzw. Funktionsaufrufe, wodurch das Modell strukturierte Aktionen auslösen kann, etwa das Nachschlagen von Daten, das Aufrufen von Backend-Services oder das Ausführen von Workflow-Schritten. Dadurch ist gpt-4o-mini-realtime-preview eine starke Wahl für fundierte, handlungsorientierte Agenten in Bereichen wie Kundensupport, Betrieb, Produktivität und multimodale Assistenten-Szenarien.

Hauptfunktionen von gpt-4o-mini-realtime-preview

• Echtzeit-multimodale Interaktion: Akzeptiert und antwortet über Sprache, Text und Bilder für flüssige Live-Erlebnisse.
• Bidirektionales Audio: Unterstützt gesprächige Sprachinterfaces, bei denen Audio gestreamt und Antworten zurückgestreamt werden können.
• Streaming-Antworten: Liefert Teilausgaben schrittweise, reduziert die wahrgenommene Latenz und verbessert die Reaktionsfähigkeit.
• Visuelles Verständnis: Interpretiert visuelle Eingaben wie Kamerabilder, Screenshots oder andere Bilder während einer Live-Sitzung.
• Funktions- und Tool-Aufrufe: Erzeugt strukturierte Aufrufe, mit denen Ihre Anwendung das Modell mit Geschäftslogik, Datenbanken oder externen Tools verknüpfen kann.
• Interaktives Agentenverhalten: Eignet sich gut für Assistenten, die während aktiver Sitzungen den Kontext turnweise aufrechterhalten müssen.
• Live-Call-Bearbeitung: Nützlich für Telefon- oder Webanrufe mit schneller Spracherkennung und unmittelbaren Antworten.
• Echtzeit-Untertitelung und Transkriptions-Workflows: Kann Erlebnisse unterstützen, die laufende Sprache nahezu in Echtzeit in nutzbaren Text umwandeln.
• Strukturierte Ausgaben für Aktionen: Hilft Anwendungen, Konversationsabsichten in verlässliche, maschinenlesbare Anweisungen zu überführen.
• Nutzererlebnisse mit niedriger Latenz: Optimiert für Szenarien, in denen Reaktionsfähigkeit zählt, z. B. Support, Coaching, Monitoring und geführte Workflows.

Zugriff auf und Integration von gpt-4o-mini-realtime-preview

Schritt 1: Für einen API-Schlüssel registrieren

Erstellen Sie zunächst ein Konto bei CometAPI und generieren Sie Ihren API-Schlüssel im Dashboard. Dieser Schlüssel wird zur Authentifizierung jeder Anfrage benötigt. Speichern Sie ihn sicher und vermeiden Sie, ihn im Client-seitigen Code oder in öffentlichen Repositories offenzulegen.

Schritt 2: Verbindung zur gpt-4o-mini-realtime-preview-API herstellen

Die Realtime-API verwendet WebSocket-Verbindungen. Stellen Sie eine Verbindung zum WebSocket-Endpunkt von CometAPI her:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Schritt 3: Ergebnisse abrufen und verifizieren

Die Realtime-API streamt Antworten über die WebSocket-Verbindung als serverseitig gesendete Ereignisse. Hören Sie auf response.audio.delta-Ereignisse für Audioausgaben und auf response.text.delta für Text. Verifizieren Sie, dass die Sitzung hergestellt ist und Antworten korrekt gestreamt werden.