Pasang dan konfigurasikan penyedia
Vercel AI SDK boleh menggunakan penyedia serasi OpenAI. Konfigurasikan URL asas CometAPI sekali dan simpan kunci API dalam pembolehubah persekitaran sebelah pelayan.
import { createOpenAI } from '@ai-sdk/openai';
export const cometapi = createOpenAI({
apiKey: process.env.COMETAPI_KEY,
baseURL: 'https://api.cometapi.com/v1',
});Cipta laluan chat penstriman
Pilih model di pelayan daripada senarai benarkan. Ini menghalang klien daripada memilih model mahal yang tidak dijangka sambil mengekalkan fleksibiliti multi-model.
import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';
const allowedModels = {
fast: 'your-fast-model-id',
quality: 'your-quality-model-id',
};
export async function POST(request: Request) {
const { messages, route = 'fast' } = await request.json();
const modelId = allowedModels[route as keyof typeof allowedModels];
const result = streamText({
model: cometapi(modelId),
messages,
});
return result.toDataStreamResponse();
}Tukar model mengikut beban kerja
Gunakan laluan yang lebih pantas untuk giliran perbualan dan laluan kualiti untuk analisis kompleks, perubahan kod yang besar atau semakan bernilai tinggi. Pastikan logik penghalaan boleh diperhatikan supaya kos dan kualiti boleh dibandingkan kemudian.
- Halakan mengikut mod produk yang eksplisit sebelum cuba pengelasan automatik.
- Rekod laluan yang dipilih, ID model, token, latensi dan hasil permintaan.
- Gunakan had perbelanjaan per akaun dan peringkat permintaan.
Senarai semak pengeluaran
Sebelum pelancaran, tambah pengesahan skema, pengendalian tamat masa, percubaan semula untuk kegagalan sementara dan laluan fallback yang serasi. Jangan sekali-kali dedahkan kunci API huluan dalam kod pelayar.