Intégrations et workflows / Exemple
Vercel AI SDK + CometAPI : créer une route de chat multi-modèles
Créer un point de terminaison de chat en streaming unique capable de changer d’ID de modèle sans remplacer l’intégration de l’application.
Conservez la clé CometAPI côté serveur et n’exposez au client qu’un alias de modèle approuvé.
Utilisez une seule configuration de provider et changez l’ID de modèle selon la charge de travail.
Diffusez les réponses pour améliorer la latence perçue.
Ajoutez des budgets de requête, de la validation et un mécanisme de repli avant le lancement en production.