Vercel AI SDK + CometAPI: สร้างเส้นทางแชตแบบหลายโมเดล

ติดตั้งและกำหนดค่าผู้ให้บริการ

import { createOpenAI } from '@ai-sdk/openai';

export const cometapi = createOpenAI({
  apiKey: process.env.COMETAPI_KEY,
  baseURL: 'https://api.cometapi.com/v1',
});

สร้างเส้นทางแชตแบบสตรีมมิง

import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';

const allowedModels = {
  fast: 'your-fast-model-id',
  quality: 'your-quality-model-id',
};

export async function POST(request: Request) {
  const { messages, route = 'fast' } = await request.json();
  const modelId = allowedModels[route as keyof typeof allowedModels];

  const result = streamText({
    model: cometapi(modelId),
    messages,
  });

  return result.toDataStreamResponse();
}

สลับโมเดลตามภาระงาน

• กำหนดเส้นทางตามโหมดผลิตภัณฑ์อย่างชัดเจนก่อนพยายามจัดประเภทอัตโนมัติ
• บันทึกเส้นทางที่เลือก model ID tokens latency และผลลัพธ์ของคำขอ
• กำหนดเพดานค่าใช้จ่ายทั้งระดับบัญชีและระดับคำขอ

รายการตรวจสอบก่อนขึ้น production