Provider installieren und konfigurieren
Das Vercel AI SDK kann einen OpenAI-kompatiblen Provider verwenden. Konfigurieren Sie die CometAPI-Basis-URL einmalig und speichern Sie den API-Schlรผssel in einer serverseitigen Umgebungsvariablen.
import { createOpenAI } from '@ai-sdk/openai';
export const cometapi = createOpenAI({
apiKey: process.env.COMETAPI_KEY,
baseURL: 'https://api.cometapi.com/v1',
});Eine Streaming-Chat-Route erstellen
Wรคhlen Sie das Modell auf dem Server aus einer Allowlist aus. Dadurch wird verhindert, dass Clients ein unerwartet teures Modell auswรคhlen, wรคhrend die Flexibilitรคt mehrerer Modelle erhalten bleibt.
import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';
const allowedModels = {
fast: 'your-fast-model-id',
quality: 'your-quality-model-id',
};
export async function POST(request: Request) {
const { messages, route = 'fast' } = await request.json();
const modelId = allowedModels[route as keyof typeof allowedModels];
const result = streamText({
model: cometapi(modelId),
messages,
});
return result.toDataStreamResponse();
}Modelle nach Workload wechseln
Verwenden Sie die schnellere Route fรผr dialogorientierte Eingaben und die Qualitรคtsroute fรผr komplexe Analysen, umfangreiche Codeรคnderungen oder hochwertige Reviews. Sorgen Sie dafรผr, dass die Routing-Logik observierbar bleibt, damit Kosten und Qualitรคt spรคter verglichen werden kรถnnen.
- Routen Sie anhand eines expliziten Produktmodus, bevor Sie eine automatische Klassifizierung versuchen.
- Erfassen Sie die ausgewรคhlte Route, die Modell-ID, die Tokenanzahl, die Latenz und das Ergebnis der Anfrage.
- Wenden Sie Ausgabenlimits auf Konto- und Anfrageebene an.
Checkliste fรผr den Produktionseinsatz
Fรผgen Sie vor dem Start eine Schema-Validierung, eine Behandlung von Timeouts, Wiederholungsversuche bei vorรผbergehenden Fehlern und eine kompatible Fallback-Route hinzu. Geben Sie den API-Schlรผssel des Upstream-Dienstes niemals in Browser-Code preis.