Provider-ді орнатыңыз және конфигурациялаңыз
Vercel AI SDK OpenAI-compatible provider-ді пайдалана алады. CometAPI base URL-ін бір рет конфигурациялап, API key-ді server-side environment variable ішінде сақтаңыз.
import { createOpenAI } from '@ai-sdk/openai';
export const cometapi = createOpenAI({
apiKey: process.env.COMETAPI_KEY,
baseURL: 'https://api.cometapi.com/v1',
});Streaming chat route жасаңыз
Server жағында model-ді allowlist ішінен таңдаңыз. Бұл client-тердің күтпеген қымбат model-ді таңдауын болдырмайды және multi-model икемділігін сақтайды.
import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';
const allowedModels = {
fast: 'your-fast-model-id',
quality: 'your-quality-model-id',
};
export async function POST(request: Request) {
const { messages, route = 'fast' } = await request.json();
const modelId = allowedModels[route as keyof typeof allowedModels];
const result = streamText({
model: cometapi(modelId),
messages,
});
return result.toDataStreamResponse();
}Workload бойынша model-дерді ауыстырыңыз
Сөйлесу turn-дері үшін жылдамырақ route-ты, ал күрделі analysis, ұзақ code өзгерістері немесе жоғары құнды review үшін quality route-ты пайдаланыңыз. Cost пен quality кейін салыстырылуы үшін routing logic-ті observability-мен қамтамасыз етіңіз.
- Automatic classification-ға көшпей тұрып, explicit product mode бойынша route таңдаңыз.
- Таңдалған route, model ID, tokens, latency және request нәтижесін жазып отырыңыз.
- Account деңгейіндегі және request деңгейіндегі spending limit-терді қолданыңыз.
Production чек-листі
Іске қосудан бұрын schema validation, timeout өңдеу, transient failure-лар үшін retry және compatible fallback route қосыңыз. Upstream API key-ді ешқашан browser code ішінде ашпаңыз.