Nghiên cứu hiệu năng minh bạch

Điểm chuẩn và Báo cáo

Các phương pháp có thể lặp lại để so sánh chất lượng mô hình, độ trễ, thông lượng, chi phí và độ tin cậy của nhà cung cấp.

Nội dung của phần này

Sử dụng cùng khối lượng công việc, khoảng thời gian đo lường và quy tắc chấm điểm để các tuyên bố về hiệu năng luôn có thể so sánh và kiểm tra.

Bài viết mẫu

Bài viết đầu tiên minh họa cấu trúc biên tập mà phần này sẽ sử dụng: câu trả lời trực tiếp, các bước thực tế, giới hạn và FAQ.

Điểm chuẩn và Báo cáo / Mẫu

Phương pháp minh bạch để đo lường độ trễ AI API mà không nhầm lẫn giữa thời gian đến token đầu tiên, tốc độ sinh token và tổng thời gian phản hồi.

TTFT đo lường khả năng phản hồi; số token mỗi giây đo lường tốc độ sinh token.

Sử dụng cùng phiên bản mô hình, prompt, mục tiêu đầu ra và chế độ streaming cho mọi route.

Báo cáo các giá trị trung vị và p95 thay vì chỉ đưa ra một yêu cầu nhanh nhất.

Công bố lỗi, thời gian chờ, khu vực và khoảng thời gian kiểm thử cùng với các số liệu hiệu năng.

Khám phá toàn bộ trung tâm kiến thức CometAPI

Hướng dẫn về mô hình, bảng giá, so sánh và quy trình production.