Facebook

from openai import OpenAI client = OpenAI( api_key="YOUR_COMETAPI_KEY", base_url="https://api.cometapi.com/v1", ) response = client.chat.completions.create( model="gpt-5-mini", messages=[{"role": "user", "content": "Build this workflow."}], ) print(response.choices[0].message.content)

Câu trả lời ngắn gọn: định tuyến yêu cầu trong ứng dụng của bạn, sau đó dùng một khóa CometAPI và OpenAI-compatible base URL https://api.cometapi.com/v1 để gọi mô hình đã chọn. Gửi công việc lặp lại, dễ kiểm tra đến tầng chi phí thấp; tương tác khách hàng nhạy về độ trễ đến tầng nhanh; và công việc mơ hồ hoặc có tác động cao đến tầng độ chính xác cao. Giữ các nhãn như chính sách nội bộ của bạn — không phải xếp hạng mô hình phổ quát — và đo lường mọi tầng trên cùng một bộ kiểm thử.

Hướng dẫn này xây dựng bộ định tuyến ba tầng đó với ví dụ Python gọn, dự phòng có giới hạn, và mô hình chi phí tính cả số lần thử lại và đầu ra bị từ chối. Ví dụ dùng các ID mô hình hiện tại từ danh mục CometAPI, nhưng logic định tuyến tách biệt nên mô hình có thể thay thế mà không cần viết lại ứng dụng.

LLM routing là gì?

LLM routing là quá trình gửi từng yêu cầu đến mô hình hoặc tầng dịch vụ phù hợp nhất với tác vụ, mục tiêu độ trễ, yêu cầu chất lượng và ngân sách.

Tuyến	Dùng cho	Mô hình ví dụ	Ước tính USD / 1M token	Dự phòng đầu tiên
Giá rẻ	Gắn nhãn, trích xuất, khử trùng lặp	deepseek-v4-flash	$0.176 input / $0.528 output	Nhanh
Nhanh	Phản hồi khách hàng, tóm tắt, trợ lý thời gian thực	gemini-3.7-flash	$0.60 input / $3.00 output	Giá rẻ, rồi chính xác
Độ chính xác cao	Rà soát chính sách, suy luận phức tạp, bản nháp tác động cao	claude-opus-5	$4.00 input / $20.00 output	Nhanh

import osimport timefrom openai import APIError, OpenAIclient = OpenAI( api_key=os.environ["COMETAPI_KEY"], base_url="https://api.cometapi.com/v1", max_retries=0, timeout=20,)MODELS = { "cheap": "deepseek-v4-flash", "fast": "gemini-3.7-flash", "accurate": "claude-opus-5",}# Put the preferred tier first; later tiers are fallbacks.ROUTES = { "tag": ["cheap", "fast", "accurate"], "reply": ["fast", "cheap", "accurate"], "policy_review": ["accurate", "fast", "cheap"],}def retryable(error): status = getattr(error, "status_code", None) return status is None or status in {408, 429} or (status and status >= 500)def route(task, prompt, validate=lambda text: True): attempts = [] for tier in ROUTES.get(task, ROUTES["reply"]): model = MODELS[tier] started = time.perf_counter() try: response = client.chat.completions.create( model=model, messages=[{"role": "user", "content": prompt}], max_tokens=400, ) text = response.choices[0].message.content or "" attempts.append({ "tier": tier, "model": model, "latency_ms": round((time.perf_counter() - started) * 1000), "accepted": validate(text), }) if attempts[-1]["accepted"]: return { "text": text, "route": tier, "model": model, "usage": response.usage.model_dump() if response.usage else None, "attempts": attempts, } except APIError as error: attempts.append({"tier": tier, "model": model, "status": error.status_code}) if not retryable(error): raise raise RuntimeError(f"No route passed: {attempts}")if __name__ == "__main__": result = route( "reply", "Reply to a customer asking when their refund will arrive. Do not promise a date.", validate=lambda text: 30 <= len(text) <= 600 and "guarantee" not in text.lower(), ) print(result)

Tuyến	Cách tính	Chi phí ước tính
Giá rẻ	0.8 × $0.176 + 0.2 × $0.528	$0.25
Nhanh	0.8 × $0.60 + 0.2 × $3.00	$1.08
Độ chính xác cao	0.8 × $4.00 + 0.2 × $20.00	$7.20

Tín hiệu	Cách xử lý
400 hoặc yêu cầu không hợp lệ	Sửa payload. Không dự phòng.
401	Nạp lại hoặc xoay vòng khóa API. Không thử lại.
403	Kiểm tra quyền truy cập mô hình và các trường không được hỗ trợ.
429	Giảm tải với jitter, giảm đồng thời, rồi dùng tuyến dự phòng đã phê duyệt nếu chính sách cho phép.
5xx tạm thời hoặc timeout	Thử tuyến tương thích tiếp theo và giữ lại ID yêu cầu.
Thất bại cổng chất lượng	Leo thang một lần, ghi lại lý do, và dừng sau danh sách tuyến đã cấu hình.

Qwen3.8-Flash-Next

Qwen3.8-Flash

GLM 5.3 Flash

Qwen3.8-Flash-Next

Qwen3.8-Flash

GLM 5.3 Flash

Đọc thêm

Cách định tuyến các yêu cầu LLM đến mô hình phù hợp cho từng tác vụ

Thực hiện API call đầu tiên.

LLM routing là gì?

Kết nối bài viết này với quyết định tiếp theo.

Nên định tuyến yêu cầu LLM theo tác vụ như thế nào?

Cách thiết lập CometAPI cho một bộ định tuyến LLM?

Cần gì để xây dựng một bộ định tuyến LLM?

Xây dựng bộ định tuyến LLM bằng Python như thế nào?

Giới hạn số lần thử trước khi dự phòng như thế nào?

Kiểm thử chính sách định tuyến LLM như thế nào?

Định tuyến đa mô hình tốn bao nhiêu?

Những lỗi định tuyến LLM thường gặp nhất là gì?

Định tuyến trong ứng dụng so với CometAPI Auto: Nên dùng cái nào?

Chạy định tuyến LLM trong sản xuất như thế nào?

Câu hỏi thường gặp

CometAPI có tự động quyết định mô hình nào là rẻ, nhanh, hay chính xác không?

Một khóa CometAPI có thể gọi mô hình từ các nhà cung cấp khác nhau không?

Tại sao không gửi mọi yêu cầu đến mô hình rẻ nhất?

Thất bại chất lượng có nên kích hoạt dự phòng?

Bản đồ mô hình nên thay đổi thường xuyên thế nào?

Tôi có thể thêm một mô hình OpenAI sau này không?

Duy trì chính sách định tuyến LLM như thế nào?

Yêu cầu kiểm thử	Giá trị tác vụ	Tuyến chính dự kiến
Gán một danh mục hỗ trợ	tag	Giá rẻ
Soạn thảo phản hồi hướng tới khách hàng	reply	Nhanh
Rà soát chính sách hoàn tiền mơ hồ	policy_review	Độ chính xác cao