Vercel AI SDK + CometAPI : créer une route de chat multi-modèles

Points clés à retenir

Conservez la clé CometAPI côté serveur et n’exposez au client qu’un alias de modèle approuvé.

Utilisez une seule configuration de provider et changez l’ID de modèle selon la charge de travail.

Diffusez les réponses pour améliorer la latence perçue.

Ajoutez des budgets de requête, de la validation et un mécanisme de repli avant le lancement en production.

Installer et configurer le provider

Vercel AI SDK peut utiliser un provider compatible avec OpenAI. Configurez une seule fois l’URL de base CometAPI et conservez la clé API dans une variable d’environnement côté serveur.

import { createOpenAI } from '@ai-sdk/openai';

export const cometapi = createOpenAI({
  apiKey: process.env.COMETAPI_KEY,
  baseURL: 'https://api.cometapi.com/v1',
});

Créer une route de chat en streaming

Choisissez le modèle côté serveur à partir d’une allowlist. Cela empêche les clients de sélectionner un modèle coûteux inattendu tout en préservant la flexibilité multi-modèles.

import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';

const allowedModels = {
  fast: 'your-fast-model-id',
  quality: 'your-quality-model-id',
};

export async function POST(request: Request) {
  const { messages, route = 'fast' } = await request.json();
  const modelId = allowedModels[route as keyof typeof allowedModels];

  const result = streamText({
    model: cometapi(modelId),
    messages,
  });

  return result.toDataStreamResponse();
}

Changer de modèle selon la charge de travail

Utilisez la route la plus rapide pour les échanges conversationnels et la route orientée qualité pour les analyses complexes, les changements de code volumineux ou les revues à forte valeur. Gardez la logique de routage observable afin de pouvoir comparer ensuite le coût et la qualité.

Routez d’abord selon un mode produit explicite avant de tenter une classification automatique.
Enregistrez la route sélectionnée, l’ID de modèle, les tokens, la latence et le résultat de la requête.
Appliquez des limites de dépenses au niveau du compte et de la requête.

Checklist de production

Avant le lancement, ajoutez la validation de schéma, la gestion des timeouts, des retries pour les échecs transitoires et une route de repli compatible. N’exposez jamais la clé API amont dans le code du navigateur.

Foire aux questions

Vercel AI SDK peut-il utiliser une API compatible avec OpenAI ?

Oui. Configurez un provider compatible avec l’URL de base alternative et la clé API, puis fournissez l’ID de modèle lors de la création de la requête.

Les utilisateurs doivent-ils pouvoir choisir n’importe quel ID de modèle depuis le navigateur ?

Non. Les applications de production doivent faire correspondre les noms de route visibles pour le client à une allowlist côté serveur afin que le coût, les capacités et la sécurité restent maîtrisés.