Instala y configura el proveedor
Vercel AI SDK puede utilizar un proveedor compatible con OpenAI. Configura una vez la URL base de CometAPI y mantén la clave de API en una variable de entorno del servidor.
import { createOpenAI } from '@ai-sdk/openai';
export const cometapi = createOpenAI({
apiKey: process.env.COMETAPI_KEY,
baseURL: 'https://api.cometapi.com/v1',
});Crea una ruta de chat con streaming
Elige el modelo en el servidor a partir de una lista de permitidos. Esto evita que los clientes seleccionen un modelo inesperadamente costoso, al tiempo que conserva la flexibilidad multimodelo.
import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';
const allowedModels = {
fast: 'your-fast-model-id',
quality: 'your-quality-model-id',
};
export async function POST(request: Request) {
const { messages, route = 'fast' } = await request.json();
const modelId = allowedModels[route as keyof typeof allowedModels];
const result = streamText({
model: cometapi(modelId),
messages,
});
return result.toDataStreamResponse();
}Cambia de modelo según la carga de trabajo
Usa la ruta más rápida para los turnos conversacionales y la ruta orientada a la calidad para análisis complejos, cambios extensos de código o revisiones de alto valor. Mantén observable la lógica de enrutamiento para poder comparar posteriormente el coste y la calidad.
- Enruta según un modo explícito del producto antes de intentar una clasificación automática.
- Registra la ruta seleccionada, el ID del modelo, los tokens, la latencia y el resultado de la solicitud.
- Aplica límites de gasto por cuenta y por solicitud.
Lista de comprobación para producción
Antes del lanzamiento, añade validación de esquemas, gestión de tiempos de espera, reintentos para fallos transitorios y una ruta de respaldo compatible. Nunca expongas la clave de API del proveedor ascendente en el código del navegador.