GPT-4o mini Realtime Preview

المواصفات التقنية لـ gpt-4o-mini-realtime-preview

ما هو gpt-4o-mini-realtime-preview؟

gpt-4o-mini-realtime-preview نموذج متعدد الوسائط في الزمن الحقيقي مصمم لتجارب سريعة وتفاعلية حيث يتحدث المستخدمون أو يكتبون أو يشاركون مدخلات مرئية، ويتوقعون استجابات فورية. وهو مناسب جيدًا للتطبيقات التي تتطلب تواصلًا مباشرًا متبادلًا حيًا بدلاً من سير عمل الطلب/الاستجابة أحادي الدورة التقليدي.

يمكن للنموذج معالجة الكلام والنصوص والصور ضمن التجربة نفسها، ما يجعله مفيدًا للمساعدين الذين يصغون للمتصل، ويفحصون محتوى الشاشة أو الكاميرا، ويستجيبون بلغة طبيعية أو صوت. وبما أنه يدعم الإدخال والإخراج المتدفّقين، يمكن للمطورين بناء أنظمة تبدو سريعة الاستجابة أثناء التفاعل الجاري بدلًا من انتظار الإكمال الكامل.

وهو يدعم أيضًا استدعاء الأدوات أو الدوال، ما يسمح للنموذج بتنفيذ إجراءات مُهيكلة مثل البحث عن البيانات أو استدعاء خدمات خلفية أو تنفيذ خطوات سير العمل. يجعل هذا gpt-4o-mini-realtime-preview خيارًا قويًا للوكلاء المؤسسية الموجهة نحو الإجراءات في سيناريوهات دعم العملاء والعمليات والإنتاجية والمساعدات متعددة الوسائط.

الميزات الرئيسية لـ gpt-4o-mini-realtime-preview

• تفاعل متعدد الوسائط في الزمن الحقيقي: يقبل ويستجيب عبر الكلام والنص والصور لتجارب حية سلسة.
• صوت ثنائي الاتجاه: يدعم واجهات المحادثة الصوتية حيث يمكن بث الصوت الداخل وبث الاستجابات الصوتية مرة أخرى.
• استجابات متدفّقة: يقدّم مخرجات جزئية بشكل تدريجي، ما يقلل زمن الانتظار المُدرَك ويحسن الاستجابة.
• فهم بصري: يفسّر المدخلات البصرية مثل إطارات الكاميرا أو لقطات الشاشة أو الصور الأخرى أثناء الجلسة الحية.
• استدعاء الدوال والأدوات: يُنتج استدعاءات مُهيكلة تتيح لتطبيقك ربط النموذج بالمنطق التجاري أو قواعد البيانات أو الأدوات الخارجية.
• سلوك وكيل تفاعلي: يعمل جيدًا للمساعدين الذين يجب أن يحافظوا على سياق دور-بدور أثناء الجلسات النشطة.
• التعامل مع المكالمات الحية: مفيد لسيناريوهات الهاتف أو مكالمات الويب التي تتضمن فهمًا سريعًا للكلام واستجابات فورية.
• عمليات نسخ وتسميات توضيحية في الزمن الحقيقي: يمكن أن يدعم تجارب تحويل الكلام الجاري إلى نص قابل للاستخدام في وقت شبه آني.
• مخرجات مُهيكلة للإجراءات: يساعد التطبيقات على تحويل النية الحوارية إلى تعليمات موثوقة قابلة للقراءة آليًا.
• تجارب منخفضة الكمون: مُحسّن للسيناريوهات التي تهم فيها الاستجابة، مثل الدعم والتوجيه والمراقبة وسير العمل الإرشادي.

كيفية الوصول إلى ودمج gpt-4o-mini-realtime-preview

الخطوة 1: التسجيل للحصول على مفتاح API

أولًا، أنشئ حسابًا على CometAPI واستخرج مفتاح واجهة برمجة التطبيقات من لوحة التحكم. هذا المفتاح مطلوب لمصادقة كل طلب. خزّنه بأمان وتجنب كشفه في شيفرة الواجهة الأمامية أو المستودعات العامة.

الخطوة 2: الاتصال بواجهة gpt-4o-mini-realtime-preview API

تستخدم واجهة Realtime API اتصالات WebSocket. اتصل بنقطة WebSocket الخاصة بـ CometAPI:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

الخطوة 3: استرجاع النتائج والتحقق منها

يبث Realtime API الاستجابات عبر اتصال WebSocket على شكل أحداث يُرسلها الخادم. استمع إلى أحداث response.audio.delta للإخراج الصوتي وresponse.text.delta للنص. تحقّق من إنشاء الجلسة ومن أن الاستجابات تتدفق بشكل صحيح.