Vercel AI SDK + CometAPI: Crie uma Rota de Chat Multi-Modelo

Principais conclusões

Mantenha a chave do CometAPI no servidor e exponha ao cliente apenas um alias de modelo aprovado.

Use uma única configuração de provedor e altere o ID do modelo por carga de trabalho.

Faça streaming das respostas para melhorar a latência percebida.

Adicione orçamentos de requisição, validação e fallback antes do lançamento em produção.

Instale e configure o provedor

O Vercel AI SDK pode usar um provedor compatível com OpenAI. Configure a URL base do CometAPI uma vez e mantenha a chave da API em uma variável de ambiente no lado do servidor.

import { createOpenAI } from '@ai-sdk/openai';

export const cometapi = createOpenAI({
  apiKey: process.env.COMETAPI_KEY,
  baseURL: 'https://api.cometapi.com/v1',
});

Crie uma rota de chat com streaming

Escolha o modelo no servidor a partir de uma allowlist. Isso impede que clientes selecionem um modelo caro inesperado, preservando ao mesmo tempo a flexibilidade multi-modelo.

import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';

const allowedModels = {
  fast: 'your-fast-model-id',
  quality: 'your-quality-model-id',
};

export async function POST(request: Request) {
  const { messages, route = 'fast' } = await request.json();
  const modelId = allowedModels[route as keyof typeof allowedModels];

  const result = streamText({
    model: cometapi(modelId),
    messages,
  });

  return result.toDataStreamResponse();
}

Alterne modelos por carga de trabalho

Use a rota mais rápida para turnos conversacionais e a rota de maior qualidade para análises complexas, grandes alterações de código ou revisões de alto valor. Mantenha a lógica de roteamento observável para que custo e qualidade possam ser comparados posteriormente.

Faça o roteamento por modo de produto explícito antes de tentar a classificação automática.
Registre a rota selecionada, o ID do modelo, tokens, latência e o resultado da requisição.
Aplique limites de gasto no nível da conta e da requisição.

Checklist de produção

Antes do lançamento, adicione validação de schema, tratamento de timeout, retries para falhas transitórias e uma rota de fallback compatível. Nunca exponha a chave da API upstream no código do navegador.

Perguntas frequentes

O Vercel AI SDK pode usar uma API compatível com OpenAI?

Sim. Configure um provedor compatível com a URL base alternativa e a chave da API, então forneça o ID do modelo ao criar a requisição.

Os usuários devem escolher qualquer ID de modelo no navegador?

Não. Aplicações em produção devem mapear nomes de rotas voltados ao cliente para uma allowlist no lado do servidor, para que custo, capacidade e segurança permaneçam controlados.