GPT-4o mini Realtime Preview

gpt-4o-mini-realtime-preview техникалық сипаттамалары

gpt-4o-mini-realtime-preview деген не?

gpt-4o-mini-realtime-preview — пайдаланушылар сөйлеп, теріп немесе визуалды енгізу бөліскенде лезде жауап күтетін, жылдам және интерактивті тәжірибелерге арналған нақты уақыттағы мультимодальды модель. Ол стандартты бір өтініш/бір жауап үлгісінен гөрі, тікелей екіжақты қарым-қатынас қажет болатын қолданбаларға өте қолайлы.

Модель бір тәжірибе ішінде сөйлеуді, мәтінді және кескіндерді өңдей алады, бұл оны қоңырау шалушыны тыңдайтын, экрандағы немесе камерадағы мазмұнды қарайтын және табиғи тілде немесе аудиомен жауап беретін көмекшілер үшін пайдалы етеді. Ағындық енгізу мен шығару қолдауының арқасында әзірлеушілер толық жауапты күтпестен, өзара әрекет барысында шапшаң сезілетін жүйелер құра алады.

Сондай-ақ ол құрал немесе функция шақыруын қолдайды, бұл модельге мәліметтерді іздеу, артқы қызметтерге қоңырау шалу немесе жұмыс үрдісі қадамдарын орындау сияқты құрылымды әрекеттерді бастауға мүмкіндік береді. Осылайша gpt-4o-mini-realtime-preview тұтынушыларды қолдау, операциялар, өнімділік және мультимодальды көмекші сценарийлерінде деректерге негізделген, әрекетке бағытталған агенттер үшін мықты таңдау болып табылады.

gpt-4o-mini-realtime-preview негізгі мүмкіндіктері

• Нақты уақыттағы мультимодальды өзара әрекет: Тікелей тәжірибелер үшін сөйлеу, мәтін және кескін арқылы қабылдап, жауап береді.
• Екіжақты аудио: Әңгімелесуге арналған дауыс интерфейстерін қолдайды: аудио ағын ретінде қабылданып, жауаптар да ағынмен жеткізіледі.
• Ағындық жауаптар: Жауаптарды бөлік-бөлікпен береді, қабылданатын кідірісті азайтып, жедел әрекет етуді жақсартады.
• Көрнекі деректерді түсіну: Белсенді сессия барысында камера кадрлары, скриншоттар немесе басқа кескіндер сияқты визуалды енгізулерді түсіндіреді.
• Функциялар мен құралдарды шақыру: Қолданбаңызды бизнес-логикаға, дерекқорларға немесе сыртқы құралдарға байланыстыратын құрылымды шақыруларды шығарады.
• Интерактивті агент мінез-құлқы: Белсенді сессияда кезек-кезегімен контексті сақтауы қажет көмекшілер үшін тиімді.
• Тікелей қоңырауларды өңдеу: Жылдам сөйлеуді түсіну және жедел жауап беру талап етілетін телефон немесе веб-қоңырау сценарийлеріне пайдалы.
• Нақты уақыттағы субтитрлеу және транскрипция: Үздіксіз сөйлеуді дерлік нақты уақытта қолдануға болатын мәтінге түрлендіретін тәжірибелерді қолдай алады.
• Әрекеттер үшін құрылымданған шығыстар: Әңгімелесу ниетін сенімді, машина оқи алатын нұсқаулықтарға айналдыруға көмектеседі.
• Төмен кідірісті пайдаланушы тәжірибелері: Қолдау, коучинг, мониторинг және бағытталған жұмыс үрдістері сияқты жедел әрекетті қажет ететін сценарийлерге оңтайландырылған.

gpt-4o-mini-realtime-preview-ке қалай қол жеткізу және біріктіру

1-қадам: API кілтін алу үшін тіркелу

Алдымен CometAPI платформасында аккаунт жасап, бақылау тақтасынан API кілтіңізді генерациялаңыз. Бұл кілт әрбір сұранымды аутентификациялау үшін қажет. Оны қауіпсіз сақтап, клиенттік кодта немесе ашық репозиторийлерде жарияламаңыз.

2-қадам: gpt-4o-mini-realtime-preview API-іне қосылу

Realtime API WebSocket қосылымдарын пайдаланады. CometAPI-дің WebSocket эндпойнтына қосылыңыз:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "Сіз пайдалы көмекшісіз."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

3-қадам: Нәтижелерді алу және тексеру

Realtime API жауаптарды сервер жіберетін оқиғалар ретінде WebSocket қосылымы арқылы ағынмен жеткізеді. Аудио шығару үшін response.audio.delta, ал мәтін үшін response.text.delta оқиғаларын тыңдаңыз. Сессияның орнатылғанын және жауаптардың дұрыс ағынмен келіп жатқанын тексеріңіз.