GPT-4o mini Audio Preview

gpt-4o-mini-audio-preview техникалық сипаттамалары

gpt-4o-mini-audio-preview деген не?

gpt-4o-mini-audio-preview — әзірлеушілерге сөйлесу форматындағы аудио тәжірибелерді құруға арналған ықшам мультимодальды модель. Ол стандартты мәтіндік өзара әрекеттесуге қоса сөйлеуді енгізуді де, сөйлеуді шығаруды да қолдайды, сондықтан пайдаланушылар табиғи сөйлесетін әрі дауыстық немесе мәтіндік жауап күтетін қолданбаларға өте қолайлы.

Бұл модель өнімге автоматты сөйлеуді тану, табиғи тіл түсіну және сөйлеуді синтездеуді бір сөйлесу цикліне біріктіру қажет болған жағдайда әсіресе пайдалы. Транскрипция, пайымдау және жауап генерациясын бөлек компоненттер ретінде қарастырғаннан гөрі, gpt-4o-mini-audio-preview мәтін-аудио аралас диалогтарға арналған бірыңғай жұмыс үдерісін ұсынады.

Сонымен қатар, ол құралдар мен функцияларды шақыруды да қолдайтындықтан, жай әңгімелесуден артық әрекеттерді жүзеге асыра алады. Мысалы, аккаунт ақпаратын қарау, тұтынушыларды қолдау сұрауын бағыттау, жазбаларды жаңарту немесе үлкенірек қолданбадағы бизнес-логиканы шақыру сияқты құрылымдалған әрекеттерді орындай алады. Бұл оны виртуалды көмекшілер, телефон арқылы қолдау агенттері, IVR жүйелері, қысқаша мазмұндауы бар транскрипция пайплайндары және аудио-мүмкіндіктері бар өнімдік көмекшілер секілді өндірістік дауыстық жүйелерге өте лайық етеді.

gpt-4o-mini-audio-preview негізгі мүмкіндіктері

• Сөйлеуді енгізуді қолдау: Қолданбаларға пайдаланушылардың ауызша сұрауларын табиғи түрде өңдеуге мүмкіндік береді.
• Сөйлеу шығаруын жасау: Көмекшілерге, қоңырауларды автоматтандыруға және дауыстық нұсқаулық сценарийлеріне арналған аудио жауаптар жасайды.
• Аралас мәтін-аудио әңгімелер: Кейбір кезектер дауыспен, ал басқалары мәтінмен жүретін, гибридті интерфейстерге ыңғайлы жұмыс ағындарын қолдайды.
• Ықшам мультимодальды дизайн: Жауап беру уақыты талап етілетін қолданбаларға лайық, аудио мүмкіндіктері бар жеңіл салмақты модель ізі.
• Ағындық жауаптар: Тікелей көмекшілер мен ағындық транскрипция жүйелері сияқты төмен кідірісті, нақты уақыттағы тәжірибелерге қуат береді.
• Құрал/функция шақыру: Еркін әңгімеден бөлек тапсырмалар үшін құрылымдалған құралдар мен бизнес-функцияларды шақыруға мүмкіндік береді.
• Нұсқауларды орындау: Қолданба деңгейіндегі нұсқауларды ұстана отырып, жауаптарды өнімнің мінез-құлқы мен жұмыс ағындарына сәйкестендіреді.
• Транскрипция және қысқаша мазмұндау жұмыс ағындары: Ауызша өзара әрекеттесуді құрылымдалған мәтінге, қысқаша мазмұнға немесе кейінгі әрекеттерге айналдыруға пайдалы.
• IVR және қоңырау-ботқа дайындық: Дауыстық өзара әрекеттесу мен тапсырмаларды бағыттау орталық рөл атқаратын қолдау және телефония сценарийлеріне сай.
• Қолданба ішіндегі аудио көмек: Дыбыспен жұмыс істейтін көмек, онбординг немесе бағытталған әрекеттер қажет бағдарламалық өнімдерге ендіруге болады.

gpt-4o-mini-audio-preview-ке қалай қолжеткізу және біріктіру

1-қадам: API кілтін алу үшін тіркеліңіз

gpt-4o-mini-audio-preview моделін қолдануды бастау үшін алдымен CometAPI-де аккаунт жасап, дашбордтан API кілтіңізді генерациялаңыз. Бұл кілт әрбір сұрауды аутентификациялау және қолданбаңызды модельмен қауіпсіз байланыстыру үшін қолданылады.

2-қадам: gpt-4o-mini-audio-preview API-іне сұраулар жіберу

CometAPI-дің аудио енгізу/шығару қолдайтын, OpenAI-мен үйлесімді endpoint-ын пайдаланыңыз.

curl https://api.cometapi.com/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $COMETAPI_API_KEY" \
  -d '{
    "model": "gpt-4o-mini-audio-preview",
    "modalities": ["text", "audio"],
    "audio": {
      "voice": "alloy",
      "format": "wav"
    },
    "messages": [
      {
        "role": "user",
        "content": "Қысқа әзіл айтыңыз."
      }
    ]
  }'

3-қадам: Нәтижелерді алу және тексеру

API стандартты чат комплишн жауаптарын қайтарады және қосымша ретінде base64-кодталған аудио шығыны бар audio өрісін қамтиды. Аудио деректерін декодтап, өндірістік қолданар алдында сапасын тексеріңіз.