Installer og konfigurer tilbyderen
Vercel AI SDK kan bruke en OpenAI-kompatibel tilbyder. Konfigurer CometAPI-base-URLen én gang og behold API-nøkkelen i en miljøvariabel på serversiden.
import { createOpenAI } from '@ai-sdk/openai';
export const cometapi = createOpenAI({
apiKey: process.env.COMETAPI_KEY,
baseURL: 'https://api.cometapi.com/v1',
});Opprett en strømmet chat-rute
Velg modellen på serveren fra en tillatelsesliste. Dette hindrer klienter i å velge en uventet kostbar modell, samtidig som fleksibiliteten med flere modeller bevares.
import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';
const allowedModels = {
fast: 'your-fast-model-id',
quality: 'your-quality-model-id',
};
export async function POST(request: Request) {
const { messages, route = 'fast' } = await request.json();
const modelId = allowedModels[route as keyof typeof allowedModels];
const result = streamText({
model: cometapi(modelId),
messages,
});
return result.toDataStreamResponse();
}Bytt modeller etter arbeidslast
Bruk den raskere ruten for samtalebytter og kvalitetsruten for kompleks analyse, store kodeendringer eller vurderinger med høy verdi. Hold rutelogikken observerbar slik at kostnad og kvalitet kan sammenlignes senere.
- Ruter etter eksplisitt produktmodus før du forsøker automatisk klassifisering.
- Loggfør valgt rute, modell-ID, tokens, latenstid og forespørselsresultat.
- Bruk forbruksgrenser på konto- og forespørselsnivå.
Produksjonssjekkliste
Før lansering, legg til skjemavalidering, timeout-håndtering, retries for forbigående feil og en kompatibel fallback-rute. Eksponer aldri den opprinnelige API-nøkkelen i nettleserkode.