GPT-4o mini Realtime Preview

gpt-4o-mini-realtime-preview کی تکنیکی خصوصیات

gpt-4o-mini-realtime-preview کیا ہے؟

gpt-4o-mini-realtime-preview ایک ریئل ٹائم ملٹی موڈل ماڈل ہے جو تیز، تعاملی تجربات کے لیے ڈیزائن کیا گیا ہے جہاں صارفین بولتے، لکھتے یا بصری ان پٹ شیئر کرتے ہیں اور فوری جواب کی توقع رکھتے ہیں۔ یہ ان ایپلی کیشنز کے لیے موزوں ہے جنہیں روایتی واحد-مرحلہ درخواست/جواب ورک فلو کے بجائے لائیو دو طرفہ بات چیت درکار ہو۔

یہ ماڈل ایک ہی تجربے میں تقریر، متن اور تصاویر کو پروسیس کر سکتا ہے، جس سے وہ اسسٹنٹس کے لیے مفید بنتا ہے جو کالر کی بات سنتے ہیں، اسکرین یا کیمرہ مواد دیکھتے ہیں، اور قدرتی زبان یا آڈیو میں جواب دیتے ہیں۔ چونکہ یہ اسٹریمنگ ان پٹ اور آؤٹ پٹ کی حمایت کرتا ہے، ڈویلپرز ایسے سسٹمز بنا سکتے ہیں جو مکمل تکمیل کا انتظار کرنے کے بجائے جاری تعامل کے دوران بھی جواب دہ محسوس ہوں۔

یہ ٹول یا فنکشن کالنگ کی بھی حمایت کرتا ہے، جس سے ماڈل ڈیٹا تلاش کرنے، بیک اینڈ سروسز کو کال کرنے یا ورک فلو کے اقدامات چلانے جیسے ساختہ اعمال شروع کر سکتا ہے۔ اس وجہ سے gpt-4o-mini-realtime-preview کسٹمر سپورٹ، آپریشنز، پروڈکٹیوٹی اور ملٹی موڈل اسسٹنٹ جیسے منظرناموں میں حقائق پر مبنی، عمل پر مبنی ایجنٹس کے لیے ایک مضبوط انتخاب ہے۔

gpt-4o-mini-realtime-preview کی اہم خصوصیات

• ریئل ٹائم ملٹی موڈل تعامل: رواں لائیو تجربات کے لیے تقریر، متن اور تصاویر کے ذریعے ان پٹ قبول کرتا اور جواب دیتا ہے۔
• دو طرفہ آڈیو: مکالماتی وائس انٹرفیس کی حمایت جہاں آڈیو اسٹریم کیا جا سکتا ہے اور جوابات بھی اسٹریم کے طور پر واپس آ سکتے ہیں۔
• اسٹریمنگ جوابات: جزوی آؤٹ پٹس تدریجاً فراہم کرتا ہے، جس سے محسوس شدہ تاخیر کم اور ردعمل بہتر ہوتا ہے۔
• بصری فہم: لائیو سیشن کے دوران کیمرہ فریمز، اسکرین شاٹس یا دیگر تصاویر جیسے بصری ان پٹس کی تشریح کرتا ہے۔
• فنکشن اور ٹول کالنگ: ایسی ساختہ کالز پیدا کرتا ہے جو آپ کی ایپلیکیشن کو بزنس لاجک، ڈیٹابیسز یا بیرونی ٹولز سے ماڈل کو جوڑنے دیتی ہیں۔
• تعاملی ایجنٹ رویہ: ان اسسٹنٹس کے لیے موزوں جو فعال سیشنز کے دوران باری باری سیاق و سباق برقرار رکھتے ہیں۔
• لائیو کال ہینڈلنگ: فون یا ویب کال کے منظرناموں میں مفید جہاں تیز تقریری فہم اور فوری ردعمل درکار ہو۔
• ریئل ٹائم کیپشننگ اور ٹرانسکرپشن ورک فلو: ایسے تجربات کی حمایت کر سکتا ہے جو جاری تقریر کو تقریباً ریئل ٹائم میں قابل استعمال متن میں بدلتے ہیں۔
• عملی اقدامات کے لیے ساختہ آؤٹ پٹس: ایپلیکیشنز کو گفتگو کے ارادے کو قابلِ اعتماد، مشین کے لیے قابلِ پڑھائی ہدایات میں بدلنے میں مدد دیتا ہے۔
• کم تاخیر والے صارف تجربات: ان منظرناموں کے لیے بہتر بنایا گیا ہے جہاں ردعمل کی رفتار اہم ہو، جیسے سپورٹ، کوچنگ، مانیٹرنگ اور گائیڈڈ ورک فلو۔

gpt-4o-mini-realtime-preview تک رسائی اور انضمام کیسے کریں

مرحلہ 1: API Key کے لیے سائن اپ کریں

سب سے پہلے CometAPI پر اکاؤنٹ بنائیں اور ڈیش بورڈ سے اپنی API key تیار کریں۔ ہر درخواست کی توثیق کے لیے یہ کلید درکار ہوتی ہے۔ اسے محفوظ رکھیں اور کلائنٹ سائیڈ کوڈ یا عوامی مخزن میں ظاہر کرنے سے گریز کریں۔

مرحلہ 2: gpt-4o-mini-realtime-preview API سے جڑیں

Realtime API WebSocket کنیکشنز استعمال کرتی ہے۔ CometAPI کے WebSocket اینڈ پوائنٹ سے جڑیں:

const ws = new WebSocket(
  "wss://api.cometapi.com/v1/realtime?model=gpt-4o-mini-realtime-preview",
  {
    headers: {
      "Authorization": "Bearer " + process.env.COMETAPI_API_KEY,
      "OpenAI-Beta": "realtime=v1"
    }
  }
);

ws.on("open", () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: {
      modalities: ["text", "audio"],
      instructions: "You are a helpful assistant."
    }
  }));
});

ws.on("message", (data) => {
  console.log(JSON.parse(data));
});

مرحلہ 3: نتائج حاصل کریں اور توثیق کریں

Realtime API، WebSocket کنیکشن کے ذریعے سرور سے بھیجے گئے واقعات کی صورت میں جوابات اسٹریم کرتی ہے۔ آڈیو آؤٹ پٹ کے لیے response.audio.delta واقعات اور متن کے لیے response.text.delta سنیں۔ تصدیق کریں کہ سیشن قائم ہو چکا ہے اور جوابات درست طور پر اسٹریم ہو رہے ہیں۔