Installer og konfigurer provider'en
Vercel AI SDK kan bruge en OpenAI-kompatibel provider. Konfigurer CometAPI base-URL รฉn gang, og opbevar API-nรธglen i en server-side miljรธvariabel.
import { createOpenAI } from '@ai-sdk/openai';
export const cometapi = createOpenAI({
apiKey: process.env.COMETAPI_KEY,
baseURL: 'https://api.cometapi.com/v1',
});Opret en streaming chatrute
Vรฆlg modellen pรฅ serveren fra en allowlist. Det forhindrer, at klienter vรฆlger en uventet dyr model, samtidig med at fleksibilitet med flere modeller bevares.
import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';
const allowedModels = {
fast: 'your-fast-model-id',
quality: 'your-quality-model-id',
};
export async function POST(request: Request) {
const { messages, route = 'fast' } = await request.json();
const modelId = allowedModels[route as keyof typeof allowedModels];
const result = streamText({
model: cometapi(modelId),
messages,
});
return result.toDataStreamResponse();
}Skift modeller efter arbejdsbelastning
Brug den hurtigere rute til dialogbaserede svar og kvalitetsruten til kompleks analyse, omfattende kodeรฆndringer eller vรฆrdifuld review. Hold routinglogikken observerbar, sรฅ omkostninger og kvalitet senere kan sammenlignes.
- Rout efter eksplicit produktmode, fรธr du forsรธger automatisk klassificering.
- Registrer valgt rute, model-ID, tokens, latenstid og forespรธrgselsresultat.
- Anvend forbrugsgrรฆnser pรฅ konto- og request-niveau.
Produktionscheckliste
Fรธr lancering skal du tilfรธje schemas validering, timeout-hรฅndtering, retries for forbigรฅende fejl og en kompatibel fallback-rute. Eksponรฉr aldrig den upstream API-nรธgle i browserkode.