GPT-4o mini Realtime Preview

Specyfikacje techniczne gpt-4o-mini-realtime-preview

Czym jest gpt-4o-mini-realtime-preview?

gpt-4o-mini-realtime-preview to wielomodowy model czasu rzeczywistego zaprojektowany do szybkich, interaktywnych doświadczeń, w których użytkownicy mówią, piszą lub udostępniają wejście wizualne i oczekują natychmiastowych odpowiedzi. Doskonale nadaje się do aplikacji wymagających ciągłej, dwustronnej komunikacji zamiast standardowych, jednokrokowych schematów żądanie/odpowiedź.

Model potrafi przetwarzać mowę, tekst i obrazy w ramach jednego doświadczenia, co czyni go przydatnym dla asystentów, którzy słuchają rozmówcy, analizują treści z ekranu lub kamery i odpowiadają w języku naturalnym albo w formie audio. Ponieważ obsługuje strumieniowe wejście i wyjście, deweloperzy mogą budować systemy, które sprawiają wrażenie responsywnych w trakcie interakcji, zamiast czekać na pełne zakończenie odpowiedzi.

Obsługuje również wywoływanie narzędzi lub funkcji, co pozwala modelowi inicjować ustrukturyzowane działania, takie jak wyszukiwanie danych, wywoływanie usług backendowych czy wykonywanie kroków przepływu pracy. Dzięki temu gpt-4o-mini-realtime-preview jest mocnym wyborem dla agentów osadzonych w danych i nastawionych na działanie w obszarach wsparcia klienta, operacji, produktywności oraz asystentów multimodalnych.

Główne funkcje gpt-4o-mini-realtime-preview

• Real-time multimodal interaction: Akceptuje i odpowiada w kanałach mowy, tekstu i obrazu, zapewniając płynne doświadczenia na żywo.
• Dwukierunkowe audio: Obsługuje konwersacyjne interfejsy głosowe, w których audio może być strumieniowane w obie strony.
• Strumieniowane odpowiedzi: Dostarcza częściowe wyjścia przyrostowo, zmniejszając postrzegane opóźnienie i poprawiając responsywność.
• Rozumienie obrazu: Interpretuje wejścia wizualne, takie jak klatki z kamery, zrzuty ekranu czy inne obrazy w trakcie sesji na żywo.
• Wywoływanie funkcji i narzędzi: Generuje ustrukturyzowane wywołania, które pozwalają połączyć model z logiką biznesową, bazami danych lub narzędziami zewnętrznymi.
• Zachowanie interaktywnego agenta: Sprawdza się w asystentach, które muszą utrzymywać kontekst wymiany tur po turze podczas aktywnych sesji.
• Obsługa połączeń na żywo: Przydatny w scenariuszach telefonicznych lub webowych wymagających szybkiego rozumienia mowy i natychmiastowych odpowiedzi.
• Tworzenie napisów i transkrypcji w czasie rzeczywistym: Wspiera doświadczenia polegające na przekształcaniu mowy w użyteczny tekst niemal w czasie rzeczywistym.
• Ustrukturyzowane wyjścia dla działań: Pomaga aplikacjom zamieniać intencje konwersacyjne na wiarygodne, maszynowo czytelne instrukcje.
• Doświadczenia użytkownika o niskim opóźnieniu: Optymalizowany pod kątem scenariuszy, w których liczy się responsywność, np. wsparcie, coaching, monitorowanie i prowadzone procesy.

Jak uzyskać dostęp i zintegrować gpt-4o-mini-realtime-preview

Krok 1: Zarejestruj się, aby uzyskać klucz API

Najpierw utwórz konto w CometAPI i wygeneruj klucz API w panelu. Klucz jest wymagany do uwierzytelniania każdego żądania. Przechowuj go bezpiecznie i unikaj ujawniania w kodzie po stronie klienta lub publicznych repozytoriach.

Krok 2: Połącz się z interfejsem API gpt-4o-mini-realtime-preview

Realtime API korzysta z połączeń WebSocket. Połącz się z punktem końcowym WebSocket CometAPI:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Krok 3: Pobierz i zweryfikuj wyniki

Realtime API strumieniuje odpowiedzi przez połączenie WebSocket jako zdarzenia wysyłane przez serwer. Nasłuchuj zdarzeń response.audio.delta dla wyjścia audio oraz response.text.delta dla tekstu. Zweryfikuj, że sesja została zestawiona i odpowiedzi są poprawnie strumieniowane.