كيفية توجيه طلبات LLM إلى النموذج المناسب لكل مهمة

الإجابة المختصرة: وجّه الطلبات داخل تطبيقك، ثم استخدم مفتاح CometAPI واحداً وعنواناً أساسياً متوافقاً مع OpenAI https://api.cometapi.com/v1 لاستدعاء النموذج المختار. أرسل الأعمال المتكررة وسهلة التحقق إلى شريحة منخفضة التكلفة؛ والتفاعلات مع العملاء الحساسة للزمن إلى شريحة سريعة؛ والأعمال الغامضة أو عالية التأثير إلى شريحة عالية الدقة. احتفظ بهذه التسميات كسياسة خاصة بك—لا كتصنيف عالمي للنماذج—وقِس كل شريحة على مجموعة الاختبار نفسها.

يبني هذا الدليل موجّهاً ثلاثي الطبقات مع مثال بايثون مدمج، ورجوع احتياطي محدود، ونموذج تكلفة يحتسب إعادة المحاولات والمخرجات المرفوضة. يستخدم المثال معرفات نماذج حالية من فهرس CometAPI، لكن منطق التوجيه يبقى منفصلاً بحيث يمكن استبدال النماذج دون إعادة كتابة التطبيق.

ما هو توجيه LLM؟

توجيه LLM هو عملية إرسال كل طلب إلى النموذج أو شريحة الخدمة الأنسب لمهمته وهدف التأخير ومتطلبات الجودة والميزانية.

كيف ينبغي توجيه طلبات LLM حسب المهمة؟

اعتباراً من 20 أغسطس 2026، كانت حقول تسعير الفهرس ومعرفات النماذج التالية متاحة عبر CometAPI Models API العامة. تطبق المعدلات التقديرية للمستهلكين أدناه قيمة ratio الحالية في الفهرس على أسعار الإدخال والإخراج الأساسية، وفقاً لـ CometAPI pricing guide. أكّد السعر النهائي لحسابك قبل الاستخدام في الإنتاج.

تعني “سريعة” أن للمسار هدف تأخير زمني؛ وتعني “دقة عالية” أن له هدف جودة أكثر صرامة. لا يثبت أي من التصنيفين أن نموذجاً ما هو دائماً الأسرع أو الأدق. قِس زمن الاستجابة p50 وp95، ومعدل نجاح المهمة، والتكلفة لكل مخرج مقبول على حركة المرور الخاصة بك قبل تثبيت هذا الربط.

كيف تُعدّ CometAPI لموجّه LLM؟

تحتاج إلى مفتاح CometAPI، وبايثون 3.10 أو أحدث، وحزمة OpenAI لبايثون. خزّن المفتاح على الخادم بدلاً من كود المصدر.

pip install openaiexport COMETAPI_KEY="your-key-here"

يستخدم المثال POST /v1/chat/completions. توثّق CometAPI هذا كواجهة مشتركة لمقدّمي خدمات متعددين، لكن قد يختلف سلوك المعاملات بحسب النموذج. تحقّق من إدخال النموذج الحالي وChat Completions reference قبل إضافة حقول خاصة بمقدّم محدد.

ما الذي تحتاجه لبناء موجّه LLM؟

اربط المهام المستقرة بشرائح الخدمة. لا تطلب من LLM آخر تصنيف كل طلب ما لم تكن إشارات التطبيق البسيطة غير كافية. وسم الدعم مهمة قابلة للتنبؤ لشريحة منخفضة التكلفة؛ والرد المباشر على العملاء حساس للتأخير؛ ومراجعة السياسات تستحق بوابة جودة أشد صرامة.

تحقق من صحة المخرج. نجاح الحالة في HTTP لا يعني أن النتيجة قابلة للاستخدام. مرّر مدققاً خاصاً بالمهمة إلى الموجّه. يمكن لمدقق التصنيف التحقق من الملصق المسموح؛ ويمكن لمدقق ردود العملاء فرض طول معيّن ومطالبات محظورة؛ ويمكن لوِرشة عمل منظمة التحقق من صحة مخطط JSON.

قيد الرجوع الاحتياطي. جرّب المسار الموافق عليه التالي بعد انقضاء المهلة، أو 408، أو 429، أو 5xx مؤقتة، أو فشل محدود في بوابة الجودة. لا تستخدم نموذجاً آخر لإخفاء مُدخل مُشكّل بشكل خاطئ، أو مفتاحاً غير صالح، أو معاملات غير مدعومة.

كيف تبني موجّه LLM في بايثون؟

import osimport time​from openai import APIError, OpenAI​client = OpenAI(    api_key=os.environ["COMETAPI_KEY"],    base_url="https://api.cometapi.com/v1",    max_retries=0,    timeout=20,)​MODELS = {    "cheap": "deepseek-v4-flash",    "fast": "gemini-3.7-flash",    "accurate": "claude-opus-5",}​# Put the preferred tier first; later tiers are fallbacks.ROUTES = {    "tag": ["cheap", "fast", "accurate"],    "reply": ["fast", "cheap", "accurate"],    "policy_review": ["accurate", "fast", "cheap"],}​​def retryable(error):    status = getattr(error, "status_code", None)    return status is None or status in {408, 429} or (status and status >= 500)​​def route(task, prompt, validate=lambda text: True):    attempts = []    for tier in ROUTES.get(task, ROUTES["reply"]):        model = MODELS[tier]        started = time.perf_counter()        try:            response = client.chat.completions.create(                model=model,                messages=[{"role": "user", "content": prompt}],                max_tokens=400,            )            text = response.choices[0].message.content or ""            attempts.append({                "tier": tier,                "model": model,                "latency_ms": round((time.perf_counter() - started) * 1000),                "accepted": validate(text),            })            if attempts[-1]["accepted"]:                return {                    "text": text,                    "route": tier,                    "model": model,                    "usage": response.usage.model_dump() if response.usage else None,                    "attempts": attempts,                }        except APIError as error:            attempts.append({"tier": tier, "model": model, "status": error.status_code})            if not retryable(error):                raise​    raise RuntimeError(f"No route passed: {attempts}")​​if __name__ == "__main__":    result = route(        "reply",        "Reply to a customer asking when their refund will arrive. Do not promise a date.",        validate=lambda text: 30 <= len(text) <= 600 and "guarantee" not in text.lower(),    )    print(result)

كيف تقيد عدد الإعادات قبل الرجوع الاحتياطي؟

أبقِ إعادات SDK صفراً ولفّ كل استدعاء نموذج بحد صريح. تساعد الدالة أدناه على إعادة المحاولة مرة واحدة فقط لإخفاقات API القابلة للإعادة، ثم ترفع الاستثناء لكي ينتقل المسار الخارجي إلى الشريحة التالية المعتمدة.

MAX_ATTEMPTS_PER_MODEL = 2​def call_model(model, prompt):    for attempt in range(1, MAX_ATTEMPTS_PER_MODEL + 1):        try:            return client.chat.completions.create(                model=model,                messages=[{"role": "user", "content": prompt}],                max_tokens=400,            )        except APIError as error:            if not retryable(error) or attempt == MAX_ATTEMPTS_PER_MODEL:                raise            time.sleep(min(0.5 * (2 ** (attempt - 1)), 2.0))

في route()، استبدل الاستدعاء المباشر client.chat.completions.create(...) بـ call_model(model, prompt). مع ثلاث شرائح، يتوقف الطلب الواحد بعد بحد أقصى ستة استدعاءات لمزوّدين؛ ولا تزال إخفاقات التحقق من الجودة تتصعّد مرة واحدة لكل شريحة بدلاً من إعادة المحاولة للمخرج نفسه.

شغّله باستخدام python3 llm_task_router.py. لتغيير المزوّدين أو أجيال النماذج لاحقاً، حدّث MODELS؛ وتبقى سياسة المهام وعقد الاستجابة في مكان واحد.

يستخدم المثال فقط المعاملات المشتركة بين النماذج المختارة. أضف عناصر تحكم بالرموز الخاصة بنماذج معيّنة عبر طبقة محول بعد التحقق من توافق النماذج.

كيف تختبر سياسة توجيه LLM؟

تحقّق أولاً من أن السياسة الحتمية تختار الشريحة الأساسية المقصودة. هذه توقعات توجيه، لا نتائج أداء مزوّدين:

يعيد اختبار دخاني مباشر ناجح الإجابة بالإضافة إلى الشريحة المختارة، ومعرف النموذج، واستخدام الرموز، وكل محاولة. ستختلف قيم الرموز والزمن الفعلي:

{  "text": "...",  "route": "fast",  "model": "gemini-3.7-flash",  "usage": {    "prompt_tokens": "measured value",    "completion_tokens": "measured value"  },  "attempts": [    {      "tier": "fast",      "model": "gemini-3.7-flash",      "latency_ms": "measured value",      "accepted": true    }  ]}

للمقارنة الفعلية، شغّل نفس الطلبات المعنونة عبر النماذج الثلاثة. سجّل معدل نجاح المهمة، وزمن الاستجابة p50 وp95، ومعدل الخطأ، ورموز الإدخال والإخراج، ومعدل الرجوع الاحتياطي، ومعدل المراجعة البشرية. غالباً ما تكون المعلمة الأهم هي التكلفة لكل مخرج مقبول، لا التكلفة لكل استدعاء API.

كم يكلف التوجيه متعدد النماذج؟

استخدم شكلاً واحداً لعبء العمل للمقارنة العادلة. افترض مليون رمز إجمالي: 800,000 رمز إدخال و200,000 رمز إخراج. باستخدام معدلات الفهرس التي تم التحقق منها في 20 أغسطس 2026:

إذا كانت حركة المرور 60% رخيصة و30% سريعة و10% دقة عالية، فإن تكلفة الرموز الممزوجة المتوقعة حوالي $1.19 لكل مليون رمز إجمالي. إرسال نفس المزيج كاملاً إلى مسار الدقة العالية سيكون حوالي $7.20 وفق هذه الافتراضات. هذا حساب تسعيري، وليس دليلاً على أن السياسة المختلطة ستلبي هدف الجودة لديك.

تغيّر الإعادات والرفض النتيجة. يرفع معدل إعادة واحدة بنسبة 5% الإسقاط $1.19 إلى نحو $1.25. إذا فشل مخرج منخفض التكلفة في التحقق وتم تكرار الطلب كاملاً على شريحة الدقة العالية، فاحسب كلا الاستدعاءين. تتبّع المخرجات المقبولة حتى لا يخفي نموذج ظاهرياً منخفض التكلفة تكاليف المراجعة أو إعادة التوليد.

ما أكثر إخفاقات توجيه LLM شيوعاً؟

يوصي error and retry guide بإعادة المحاولة مع التراجع لإجهاد المعدل وإخفاقات المنصة المؤقتة، بينما ينبغي إصلاح الطلبات ذات التشكيل السيء وإخفاقات المصادقة. كما يحافظ fallback guide على الرجوع إلى النماذج منظماً وصريحاً.

توجيه داخل التطبيق أم CometAPI Auto: أيهما تستخدم؟

استخدم التوجيه داخل التطبيق عندما تهم السيطرة وقابلية التكرار. احتفظ بالقرار داخل كودك عندما تكون المهام مستقرة وتحتاج إلى هويات نماذج ثابتة، وميزانيات لكل شريحة، ومدققات مخصصة، وترتيب رجوع احتياطي قابل للتدقيق. هذا النهج يجعل مقارنة خريطة النماذج نفسها عبر الإصدارات أسهل.

استخدم CometAPI Auto عندما يهم تقليل صيانة التوجيه أكثر. عيّن model=auto للإعداد الافتراضي المتوازن أو model=auto-high عندما تكون الجودة أولوية أعلى. تختار CometAPI نموذجاً مؤهلاً ديناميكياً من خصائص الطلب وحوض التوجيه الحالي، لذا قد يختلف النموذج الأساسي؛ وهذا يجعل Auto أقل ملاءمة عندما يجب أن يستخدم كل تشغيل النموذج نفسه أو معاملات خاصة بنموذج بعينه.

كيف تشغّل توجيه LLM في بيئة الإنتاج؟

حدّث سجل النماذج. استدعِ GET https://api.cometapi.com/api/models أثناء النشر أو بدء التشغيل وفشّل الإصدار إذا كان معرف مُكوَّن أو نقطة نهاية مطلوبة مفقودة. يمكن أن تتغير معرفات النماذج والأسعار والقدرات.

أبعد الخيارات الخاصة بالمزوّدين عن الموجّه. سطح Chat Completions المشترك لا يجعل كل المعاملات متطابقة. على سبيل المثال، قد يختلف دعم logprobs، أو عناصر التحكم في الاستدلال، أو المرشحين المتعددين. ضع تلك الفروق في طبقات محولات مُختَبَرة.

حدّ سقف حركة المرور والمخرجات. حدّ التوازي قبل أن تغادر الطلبات التطبيق، واستخدم تراجعاً أسياً مع تذبذب لـ 429، وضع سقفاً لرموز الإخراج. توصي دليل حدود المعدل من CometAPI بالضوابط نفسها على جانب التطبيق.

سجّل القرار. سجّل نوع المهمة، وإصدار السياسة، والشريحة المختارة، ومعرف النموذج، وزمن الاستجابة، واستخدام الرموز، ونتيجة التحقق، وعدد الإعادات، وسبب الرجوع، وتقدير التكلفة. تجنّب تسجيل الأسرار أو محتوى العملاء غير الضروري.

روّج المسارات بالاستناد إلى الأدلة. احتفظ بمجموعة تقييم معنونة لكل مهمة. طبّق تغييرات الربط تدريجياً، وقارنها بالسياسة السابقة، واحتفظ بمسار تراجع سريع.

الأسئلة الشائعة

هل تقرر CometAPI تلقائياً أي نموذج هو الأرخص أو الأسرع أو الأدق؟

يبقي هذا الدليل تلك السياسة في كود التطبيق. توفّر CometAPI المفتاح المشترك، والعنوان الأساسي، وفهرس النماذج، وواجهة Chat Completions، وبلوكات بناء الرجوع الموثّقة. يحدد فريقك معنى كل شريحة وأي نموذج اجتاز اختباراته.

هل يمكن لمفتاح CometAPI واحد استدعاء نماذج من مزوّدين مختلفين؟

نعم. لمسارات النص المتوافقة مع OpenAI، استخدم https://api.cometapi.com/v1 وغيّر قيمة model. يجب التحقق من الفهرس الحالي قبل النشر.

لماذا لا نرسل كل طلب إلى النموذج الأرخص؟

قد تصبح أقل معدلات الرموز تكلفة باهظة إذا فشلت المخرجات في التحقق، أو تطلبت إعادة محاولات، أو أوجدت عملاً للمراجعة البشرية. قارن التكلفة لكل نتيجة مقبولة واحتفظ بالمهام عالية التأثير خلف بوابات جودة أكثر صرامة.

هل ينبغي أن يؤدي فشل الجودة إلى الرجوع الاحتياطي؟

فقط عندما يكون الفشل قابلاً للكشف آلياً وكان التصعيد محدوداً. يمكن أن يبرر خطأ في المخطط أو حقل مطلوب مفقود أو وعد محظور تصعيداً واحداً. يجب أن تصبح حالات عدم الرضا الغامضة بيانات تقييم بدلاً من حلقة إعادة محاولات غير محدودة.

كم مرة ينبغي تغيير خريطة النماذج؟

غيّرها عندما تشير بيانات الفهرس الحالية وتقييم قابل للتكرار إلى مفاضلة أفضل. لا تدوّر النماذج لمجرد ظهور اسم جديد في الفهرس.

هل يمكنني إضافة نموذج OpenAI لاحقاً؟

نعم. أضف معرف نموذج متوافقاً حديثاً مع OpenAI إلى MODELS، واختبر نفس عقد الطلب والاستجابة، وضعه في ترتيب المسارات. يبقى العميل والمفتاح والعنوان الأساسي بلا تغيير.

كيف تبقي سياسة توجيه LLM قابلة للصيانة؟

أسهل موجّه متعدد المزوّدين ليس صندوقاً أسود مستقلاً. إنه سياسة مهام قصيرة ومؤرخة ومدعومة بوصول API مشترك، وبيانات وصفية حديثة للنماذج، ومدقق جودة، وسلسلة رجوع احتياطي ضيقة. تقلّل CometAPI عمل الاتصال إلى مفتاح واحد وعنوان أساسي واحد متوافق مع OpenAI؛ بينما يحتفظ تطبيقك بالتحكم في قرارات التكلفة والتأخير والجودة.