GPT-4o mini Realtime Preview

Spesifikasi Teknis gpt-4o-mini-realtime-preview

Apa itu gpt-4o-mini-realtime-preview?

gpt-4o-mini-realtime-preview adalah model multimodal waktu nyata yang dirancang untuk pengalaman cepat dan interaktif, di mana pengguna berbicara, mengetik, atau membagikan input visual dan mengharapkan respons segera. Model ini sangat cocok untuk aplikasi yang memerlukan komunikasi dua arah secara langsung, alih-alih alur kerja permintaan/tanggapan satu putaran standar.

Model ini dapat memproses ucapan, teks, dan gambar dalam pengalaman yang sama, sehingga berguna bagi asisten yang mendengarkan penelepon, memeriksa konten di layar atau kamera, dan merespons dalam bahasa alami atau audio. Karena mendukung input dan output streaming, pengembang dapat membangun sistem yang terasa responsif selama interaksi berlangsung, alih-alih menunggu hingga penyelesaian penuh.

Model ini juga mendukung pemanggilan alat atau fungsi, yang memungkinkan model memicu tindakan terstruktur seperti mencari data, memanggil layanan backend, atau mengeksekusi langkah-langkah alur kerja. Hal ini menjadikan gpt-4o-mini-realtime-preview pilihan yang kuat untuk agen yang berbasis data dan berorientasi tindakan dalam skenario dukungan pelanggan, operasional, produktivitas, dan asisten multimodal.

Fitur utama gpt-4o-mini-realtime-preview

• Interaksi multimodal waktu nyata: Menerima dan merespons melalui ucapan, teks, dan gambar untuk pengalaman langsung yang mulus.
• Audio dua arah: Mendukung antarmuka suara percakapan di mana audio dapat di-stream masuk dan respons dapat di-stream keluar.
• Respons streaming: Mengirim keluaran parsial secara bertahap, mengurangi latensi yang dirasakan dan meningkatkan responsivitas.
• Pemahaman visual: Menafsirkan input visual seperti frame kamera, tangkapan layar, atau gambar lainnya selama sesi langsung.
• Pemanggilan fungsi dan alat: Menghasilkan panggilan terstruktur yang memungkinkan aplikasi Anda menghubungkan model ke logika bisnis, basis data, atau alat eksternal.
• Perilaku agen interaktif: Bekerja dengan baik untuk asisten yang harus mempertahankan konteks per giliran selama sesi aktif.
• Penanganan panggilan langsung: Berguna untuk skenario panggilan telepon atau web yang melibatkan pemahaman ucapan cepat dan balasan segera.
• Alur kerja penyulihan teks (captioning) dan transkripsi waktu nyata: Dapat mendukung pengalaman yang mengubah ucapan yang sedang berlangsung menjadi teks yang dapat digunakan hampir secara waktu nyata.
• Keluaran terstruktur untuk tindakan: Membantu aplikasi mengubah maksud percakapan menjadi instruksi yang dapat dibaca mesin secara andal.
• Pengalaman pengguna berlatensi rendah: Dioptimalkan untuk skenario yang menuntut responsivitas, seperti dukungan, pembinaan, pemantauan, dan alur kerja terpandu.

Cara mengakses dan mengintegrasikan gpt-4o-mini-realtime-preview

Langkah 1: Daftar untuk Kunci API

Pertama, buat akun di CometAPI dan hasilkan kunci API Anda dari dasbor. Kunci ini diperlukan untuk mengautentikasi setiap permintaan. Simpan dengan aman dan hindari mengeksposnya di kode sisi klien atau repositori publik.

Langkah 2: Sambungkan ke API gpt-4o-mini-realtime-preview

Realtime API menggunakan koneksi WebSocket. Sambungkan ke endpoint WebSocket CometAPI:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Langkah 3: Ambil dan Verifikasi Hasil

Realtime API mengalirkan respons melalui koneksi WebSocket sebagai peristiwa yang dikirim server. Dengarkan peristiwa response.audio.delta untuk keluaran audio dan response.text.delta untuk teks. Verifikasikan bahwa sesi telah dibuat dan respons mengalir dengan benar.