Instal dan konfigurasikan provider
Vercel AI SDK dapat menggunakan provider yang kompatibel dengan OpenAI. Konfigurasikan base URL CometAPI sekali dan simpan API key di variabel lingkungan sisi server.
import { createOpenAI } from '@ai-sdk/openai';
export const cometapi = createOpenAI({
apiKey: process.env.COMETAPI_KEY,
baseURL: 'https://api.cometapi.com/v1',
});Buat route chat streaming
Pilih model di server dari allowlist. Ini mencegah klien memilih model mahal yang tidak terduga sambil tetap mempertahankan fleksibilitas multi-model.
import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';
const allowedModels = {
fast: 'your-fast-model-id',
quality: 'your-quality-model-id',
};
export async function POST(request: Request) {
const { messages, route = 'fast' } = await request.json();
const modelId = allowedModels[route as keyof typeof allowedModels];
const result = streamText({
model: cometapi(modelId),
messages,
});
return result.toDataStreamResponse();
}Ganti model berdasarkan workload
Gunakan route yang lebih cepat untuk percakapan dan route kualitas untuk analisis kompleks, perubahan kode besar, atau review bernilai tinggi. Buat logika routing tetap dapat diamati agar biaya dan kualitas dapat dibandingkan nanti.
- Rutekan berdasarkan mode produk yang eksplisit sebelum mencoba klasifikasi otomatis.
- Catat route yang dipilih, model ID, token, latensi, dan hasil request.
- Terapkan batas pengeluaran di level akun dan request.
Checklist produksi
Sebelum peluncuran, tambahkan validasi skema, penanganan timeout, retry untuk kegagalan sementara, dan route fallback yang kompatibel. Jangan pernah mengekspos upstream API key di kode browser.