Provider انسٹال اور configure کریں
Vercel AI SDK ایک OpenAI-compatible provider استعمال کر سکتا ہے۔ CometAPI base URL ایک بار configure کریں اور API key کو server-side environment variable میں رکھیں۔
import { createOpenAI } from '@ai-sdk/openai';
export const cometapi = createOpenAI({
apiKey: process.env.COMETAPI_KEY,
baseURL: 'https://api.cometapi.com/v1',
});Streaming chat route بنائیں
Server پر allowlist سے model منتخب کریں۔ اس سے clients کو غیر متوقع مہنگا model منتخب کرنے سے روکا جاتا ہے جبکہ multi-model flexibility برقرار رہتی ہے۔
import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';
const allowedModels = {
fast: 'your-fast-model-id',
quality: 'your-quality-model-id',
};
export async function POST(request: Request) {
const { messages, route = 'fast' } = await request.json();
const modelId = allowedModels[route as keyof typeof allowedModels];
const result = streamText({
model: cometapi(modelId),
messages,
});
return result.toDataStreamResponse();
}Workload کے مطابق models switch کریں
Conversational turns کے لیے تیز route استعمال کریں اور complex analysis، لمبی code changes یا high-value review کے لیے quality route۔ Routing logic کو observable رکھیں تاکہ cost اور quality کا بعد میں موازنہ کیا جا سکے۔
- Automatic classification کی کوشش سے پہلے explicit product mode کے ذریعے route کریں۔
- Selected route، model ID، tokens، latency اور request result record کریں۔
- Account اور request-level spending limits apply کریں۔
Production checklist
Launch سے پہلے schema validation، timeout handling، transient failures کے لیے retries اور ایک compatible fallback route شامل کریں۔ کبھی بھی upstream API key کو browser code میں expose نہ کریں۔