GPT-4o mini Audio Preview

Spesifikasi Teknikal bagi gpt-4o-mini-audio-preview

Apakah gpt-4o-mini-audio-preview?

gpt-4o-mini-audio-preview ialah model multimodal yang padat untuk pembangun yang ingin membina pengalaman perbualan audio. Ia menyokong kedua-dua input pertuturan dan output pertuturan selain interaksi teks standard, menjadikannya sesuai untuk aplikasi di mana pengguna bercakap secara semula jadi dan mengharapkan balasan bertutur atau berasaskan teks.

Model ini amat berguna apabila sesuatu produk perlu menggabungkan pengecaman pertuturan automatik, kefahaman bahasa semula jadi, dan sintesis pertuturan dalam satu gelung perbualan. Daripada mengendalikan transkripsi, penaakulan, dan penjanaan respons sebagai komponen berasingan, gpt-4o-mini-audio-preview membolehkan aliran kerja bersatu untuk dialog teks-audio bercampur.

Memandangkan ia juga menyokong panggilan alat dan fungsi, model ini mampu melakukan lebih daripada sekadar berbual. Ia boleh mencetuskan tindakan berstruktur seperti mencari maklumat akaun, merutekan permintaan sokongan pelanggan, mengemas kini rekod, atau memanggil logik perniagaan dalam aplikasi yang lebih besar. Ini menjadikannya sangat sesuai untuk sistem suara produksi seperti pembantu maya, ejen sokongan telefon, sistem respons suara interaktif (IVR), talian transkripsi dengan peringkasan, dan pembantu produk berkemampuan audio.

Ciri utama gpt-4o-mini-audio-preview

• Sokongan input pertuturan: Menerima interaksi pengguna berasaskan audio supaya aplikasi dapat memproses permintaan bertutur secara semula jadi.
• Penjanaan output pertuturan: Menjana respons audio untuk pembantu, automasi panggilan, dan pengalaman panduan bertutur.
• Perbualan teks-audio bercampur: Menyokong aliran kerja di mana sebahagian giliran adalah pertuturan dan sebahagian lagi berasaskan teks, berguna untuk antara muka hibrid.
• Reka bentuk multimodal yang padat: Menawarkan keupayaan audio dalam jejak model lebih ringan yang sesuai untuk aplikasi responsif.
• Respons penstriman: Membantu menjana pengalaman kependaman rendah dan masa nyata seperti pembantu langsung dan sistem transkripsi penstriman.
• Panggilan alat/fungsi: Membolehkan model memanggil alat berstruktur atau fungsi perniagaan untuk tugas melangkaui perbualan terbuka.
• Mengikut arahan: Mengikut panduan peringkat aplikasi bagi memastikan respons sejajar dengan tingkah laku produk dan keperluan aliran kerja.
• Aliran kerja transkripsi dan peringkasan: Berguna untuk menukar interaksi bertutur kepada keluaran teks berstruktur, ringkasan, atau tindakan susulan.
• Sedia untuk IVR dan bot panggilan: Sesuai untuk senario sokongan pelanggan dan telefoni di mana interaksi pertuturan dan perutean tugas adalah teras.
• Bantuan audio dalam aplikasi: Boleh disepadukan ke dalam produk perisian yang memerlukan bantuan berasaskan suara, onboarding, atau tindakan berpandu.

Cara mengakses dan menyepadukan gpt-4o-mini-audio-preview

Langkah 1: Daftar untuk Kunci API

Untuk mula menggunakan gpt-4o-mini-audio-preview, mula-mula cipta akaun di CometAPI dan jana kunci API anda daripada papan pemuka. Kunci ini digunakan untuk mengesahkan setiap permintaan dan menyambungkan aplikasi anda dengan selamat kepada model.

Langkah 2: Hantar Permintaan ke API gpt-4o-mini-audio-preview

Gunakan titik akhir CometAPI yang serasi dengan OpenAI dengan sokongan input/output audio.

curl https://api.cometapi.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $COMETAPI_API_KEY" \
  -d '{
    "model": "gpt-4o-mini-audio-preview",
    "modalities": ["text", "audio"],
    "audio": {
      "voice": "alloy",
      "format": "wav"
    },
    "messages": [
      {
        "role": "user",
        "content": "Tell me a short joke."
      }
    ]
  }'

Langkah 3: Dapatkan dan Sahkan Keputusan

API memulangkan respons penyelesaian chat standard dengan medan audio tambahan yang mengandungi output audio berkod base64. Nyahkod data audio dan sahkan kualitinya sebelum digunakan dalam produksi.