Vercel AI SDK + CometAPI: crea una route di chat multi-modello

Punti chiave

Mantieni la chiave di CometAPI sul server ed esponi al client solo un alias di modello approvato.

Usa una sola configurazione del provider e cambia l'ID del modello in base al carico di lavoro.

Trasmetti le risposte in streaming per migliorare la latenza percepita.

Aggiungi budget di richiesta, convalida e fallback prima del rilascio in produzione.

Installa e configura il provider

Vercel AI SDK può usare un provider compatibile con OpenAI. Configura una volta l'URL base di CometAPI e mantieni la chiave API in una variabile di ambiente lato server.

import { createOpenAI } from '@ai-sdk/openai';

export const cometapi = createOpenAI({
  apiKey: process.env.COMETAPI_KEY,
  baseURL: 'https://api.cometapi.com/v1',
});

Crea una route di chat in streaming

Scegli il modello sul server da una allowlist. Questo impedisce ai client di selezionare un modello costoso inatteso, preservando al tempo stesso la flessibilità multi-modello.

import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';

const allowedModels = {
  fast: 'your-fast-model-id',
  quality: 'your-quality-model-id',
};

export async function POST(request: Request) {
  const { messages, route = 'fast' } = await request.json();
  const modelId = allowedModels[route as keyof typeof allowedModels];

  const result = streamText({
    model: cometapi(modelId),
    messages,
  });

  return result.toDataStreamResponse();
}

Cambia modello in base al carico di lavoro

Usa la route più veloce per i turni conversazionali e la route di qualità per analisi complesse, modifiche di codice estese o revisioni ad alto valore. Mantieni la logica di routing osservabile, così costo e qualità possono essere confrontati in seguito.

Instrada in base alla modalità esplicita del prodotto prima di tentare una classificazione automatica.
Registra route selezionata, ID del modello, token, latenza ed esito della richiesta.
Applica limiti di spesa a livello di account e di richiesta.

Checklist di produzione

Prima del lancio, aggiungi convalida dello schema, gestione dei timeout, retry per i guasti transitori e una route di fallback compatibile. Non esporre mai la chiave API upstream nel codice del browser.

Domande frequenti

Vercel AI SDK può usare un'API compatibile con OpenAI?

Sì. Configura un provider compatibile con l'URL base alternativo e la chiave API, quindi fornisci l'ID del modello quando crei la richiesta.

Gli utenti dovrebbero poter scegliere qualsiasi ID del modello dal browser?

No. Le applicazioni in produzione dovrebbero mappare i nomi delle route esposte al client a una allowlist lato server, così costo, capacità e sicurezza restano controllati.