GPT-4o mini Realtime Preview

Spesifikasi Teknikal bagi gpt-4o-mini-realtime-preview

Apakah gpt-4o-mini-realtime-preview?

gpt-4o-mini-realtime-preview ialah model multimodal masa nyata yang direka untuk pengalaman pantas dan interaktif di mana pengguna bercakap, menaip atau berkongsi input visual dan mengharapkan respons serta-merta. Ia sangat sesuai untuk aplikasi yang memerlukan komunikasi langsung berbalas-balas secara langsung, bukannya aliran permintaan/tindak balas satu pusingan standard.

Model ini boleh memproses pertuturan, teks dan imej dalam pengalaman yang sama, menjadikannya berguna untuk pembantu yang mendengar pemanggil, memeriksa kandungan pada skrin atau kamera, dan memberi respons dalam bahasa semula jadi atau audio. Disebabkan ia menyokong input dan output penstriman, pembangun boleh membina sistem yang terasa responsif sepanjang interaksi yang sedang berlangsung, bukannya menunggu pelengkapan penuh.

Ia juga menyokong penggunaan alat atau panggilan fungsi, yang membolehkan model mencetuskan tindakan berstruktur seperti mencari data, memanggil perkhidmatan belakang, atau melaksanakan langkah aliran kerja. Ini menjadikan gpt-4o-mini-realtime-preview pilihan yang kukuh untuk ejen berasaskan fakta dan berorientasikan tindakan dalam sokongan pelanggan, operasi, produktiviti, dan senario pembantu multimodal.

Ciri utama gpt-4o-mini-realtime-preview

• Interaksi multimodal masa nyata: Menerima dan memberi respons merentasi pertuturan, teks, dan imej untuk pengalaman langsung yang lancar.
• Audio dwihala: Menyokong antara muka suara perbualan di mana audio boleh distrim masuk dan respons boleh distrim keluar.
• Respons penstriman: Menyampaikan output separa secara berperingkat, mengurangkan latensi yang dirasai dan meningkatkan kereaktifan.
• Pemahaman visi: Mentafsir input visual seperti bingkai kamera, tangkapan skrin atau imej lain semasa sesi langsung.
• Panggilan fungsi dan alat: Menghasilkan panggilan berstruktur yang membolehkan aplikasi anda menyambungkan model kepada logik perniagaan, pangkalan data atau alat luaran.
• Perilaku ejen interaktif: Berfungsi baik untuk pembantu yang mesti mengekalkan konteks giliran demi giliran semasa sesi aktif.
• Pengendalian panggilan langsung: Berguna untuk senario telefon atau panggilan web yang melibatkan pemahaman pertuturan pantas dan jawapan serta-merta.
• Aliran kerja kapsyen dan transkripsi masa nyata: Boleh menyokong pengalaman yang menukar pertuturan berterusan kepada teks yang boleh digunakan hampir masa nyata.
• Output berstruktur untuk tindakan: Membantu aplikasi menukar niat perbualan kepada arahan boleh baca mesin yang boleh diharap.
• Pengalaman pengguna latensi rendah: Dioptimumkan untuk senario di mana kereaktifan penting, seperti sokongan, pembimbingan, pemantauan, dan aliran kerja berpandu.

Cara mengakses dan mengintegrasikan gpt-4o-mini-realtime-preview

Langkah 1: Daftar untuk Kunci API

Mula-mula, cipta akaun di CometAPI dan jana kunci API anda dari papan pemuka. Kunci ini diperlukan untuk mengesahkan setiap permintaan. Simpannya dengan selamat dan elakkan mendedahkannya dalam kod bahagian klien atau repositori awam.

Langkah 2: Sambung ke API gpt-4o-mini-realtime-preview

API Masa Nyata menggunakan sambungan WebSocket. Sambung ke titik akhir WebSocket CometAPI:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "Anda ialah pembantu yang sedia membantu."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

Langkah 3: Dapatkan dan Sahkan Hasil

API Masa Nyata menstrim respons melalui sambungan WebSocket sebagai acara yang dihantar oleh pelayan. Dengar acara response.audio.delta untuk output audio dan response.text.delta untuk teks. Sahkan bahawa sesi telah diwujudkan dan respons sedang distrim dengan betul.