GPT-4o mini Realtime Preview

gpt-4o-mini-realtime-preview Teknik Özellikleri

gpt-4o-mini-realtime-preview nedir?

gpt-4o-mini-realtime-preview, kullanıcıların konuştuğu, yazdığı veya görsel girdi paylaştığı ve anında yanıt beklediği hızlı, etkileşimli deneyimler için tasarlanmış gerçek zamanlı, çoklu modaliteli bir modeldir. Standart tek adımlı istek/yanıt iş akışları yerine canlı, karşılıklı iletişime ihtiyaç duyan uygulamalar için son derece uygundur.

Model, aynı deneyim içinde konuşma, metin ve görüntüleri işleyebilir; bu da bir arayanı dinleyen, ekrandaki veya kamera içeriğini inceleyen ve doğal dilde ya da sesle yanıt veren asistanlar için kullanışlıdır. Girdi ve çıktıyı akış halinde desteklediği için, geliştiriciler tam yanıtı beklemek yerine devam eden etkileşim sırasında daha duyarlı hissedilen sistemler oluşturabilir.

Ayrıca araç veya fonksiyon çağırmayı destekler; bu, modelin veri arama, arka uç servislerini çağırma veya iş akışı adımlarını yürütme gibi yapılandırılmış eylemleri tetiklemesini sağlar. Bu da gpt-4o-mini-realtime-preview’u müşteri destek, operasyon, üretkenlik ve çok modlu asistan senaryolarında temellendirilmiş, eylem odaklı ajanlar için güçlü bir seçenek haline getirir.

gpt-4o-mini-realtime-preview Ana Özellikleri

• Gerçek zamanlı çoklu modalite etkileşimi: Akıcı canlı deneyimler için konuşma, metin ve görüntü üzerinden girdi alır ve yanıt verir.
• Çift yönlü ses: Sesin akış olarak alınmasını ve yanıtların akış olarak gönderilmesini destekleyen sohbet odaklı sesli arayüzleri destekler.
• Akışlı yanıtlar: Kısmi çıktıları artımlı olarak ileterek algılanan gecikmeyi azaltır ve tepkiselliği artırır.
• Görsel anlama: Canlı oturum sırasında kamera kareleri, ekran görüntüleri veya diğer görseller gibi girdileri yorumlar.
• Fonksiyon ve araç çağırma: Uygulamanızın modeli iş mantığına, veritabanlarına veya harici araçlara bağlamasına olanak tanıyan yapılandırılmış çağrılar üretir.
• Etkileşimli ajan davranışı: Aktif oturumlarda adım adım bağlamı koruması gereken asistanlar için uygundur.
• Canlı çağrı işleme: Hızlı konuşma anlama ve anında yanıt gerektiren telefon veya web çağrısı senaryolarında kullanışlıdır.
• Gerçek zamanlı altyazı ve deşifre iş akışları: Devam eden konuşmayı neredeyse gerçek zamanlı olarak kullanılabilir metne dönüştüren deneyimleri destekleyebilir.
• Eylemler için yapılandırılmış çıktılar: Uygulamaların konuşma niyetini güvenilir, makinenin okuyabileceği talimatlara dönüştürmesine yardımcı olur.
• Düşük gecikmeli kullanıcı deneyimleri: Destek, koçluk, izleme ve kılavuzlu iş akışları gibi tepkiselliğin önemli olduğu senaryolar için optimize edilmiştir.

gpt-4o-mini-realtime-preview Erişimi ve Entegrasyonu

Adım 1: API Anahtarı İçin Kaydolun

Öncelikle CometAPI’de bir hesap oluşturun ve kontrol panelinden API anahtarınızı oluşturun. Bu anahtar, her isteğin kimlik doğrulaması için gereklidir. Anahtarı güvenli şekilde saklayın ve istemci tarafı kodda veya herkese açık depolarda ifşa etmekten kaçının.

Adım 2: gpt-4o-mini-realtime-preview API'sine Bağlanın

Gerçek Zamanlı API, WebSocket bağlantıları kullanır. CometAPI’nin WebSocket uç noktasına bağlanın:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Adım 3: Sonuçları Alın ve Doğrulayın

Gerçek Zamanlı API, yanıtları WebSocket bağlantısı üzerinden sunucu tarafından gönderilen etkinlikler olarak iletir. Ses çıktısı için response.audio.delta ve metin için response.text.delta etkinliklerini dinleyin. Oturumun kurulduğunu ve yanıtların doğru şekilde akış halinde geldiğini doğrulayın.