تثبيت الموفر وتهيئته
يمكن لـ Vercel AI SDK استخدام موفر متوافق مع OpenAI. هيّئ عنوان URL الأساسي لـ CometAPI مرة واحدة واحتفظ بمفتاح API في متغير بيئة على جانب الخادم.
import { createOpenAI } from '@ai-sdk/openai';
export const cometapi = createOpenAI({
apiKey: process.env.COMETAPI_KEY,
baseURL: 'https://api.cometapi.com/v1',
});إنشاء مسار دردشة متدفق
اختر النموذج على الخادم من قائمة سماح. يمنع ذلك العملاء من اختيار نموذج مكلف غير متوقع مع الحفاظ على مرونة تعدد النماذج.
import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';
const allowedModels = {
fast: 'your-fast-model-id',
quality: 'your-quality-model-id',
};
export async function POST(request: Request) {
const { messages, route = 'fast' } = await request.json();
const modelId = allowedModels[route as keyof typeof allowedModels];
const result = streamText({
model: cometapi(modelId),
messages,
});
return result.toDataStreamResponse();
}تبديل النماذج حسب عبء العمل
استخدم المسار الأسرع لجولات المحادثة ومسار الجودة للتحليل المعقد أو تغييرات الشيفرة الطويلة أو المراجعة عالية القيمة. اجعل منطق التوجيه قابلًا للمراقبة حتى يمكن لاحقًا مقارنة التكلفة والجودة.
- وجّه الطلبات حسب وضع المنتج الصريح قبل محاولة التصنيف التلقائي.
- سجّل المسار المحدد، ومعرّف النموذج، والرموز، وزمن الاستجابة، ونتيجة الطلب.
- طبّق حدود إنفاق على مستوى الحساب والطلب.
قائمة تحقق الإنتاج
قبل الإطلاق، أضف التحقق من المخطط، ومعالجة انتهاء المهلة، وإعادة المحاولة للفشل العابر، ومسار رجوع متوافقًا. لا تعرض أبدًا مفتاح API upstream في شيفرة المتصفح.
