Auto API trong CometAPI là gì?
CometAPI Auto API là một điểm cuối định tuyến mô hình thông minh cho phép nhà phát triển truy cập các mô hình AI phù hợp mà không cần chỉ định tên mô hình cố định cho mỗi yêu cầu. Thay vì chọn một mô hình cụ thể như GPT, Claude, Gemini hoặc mô hình được hỗ trợ khác, nhà phát triển có thể gửi model=auto, và CometAPI sẽ tự động xác định mô hình phù hợp dựa trên đặc điểm và yêu cầu của yêu cầu đó.
Đối với khối lượng công việc ưu tiên chất lượng phản hồi cao hơn, nhà phát triển có thể dùng auto-high. Cả auto và auto-high đều là tùy chọn định tuyến chứ không phải các mô hình AI cố định.
Cách tiếp cận này cho phép ứng dụng sử dụng một API nhất quán trong khi CometAPI xử lý việc lựa chọn mô hình ở phía sau.
Thông số và đặc tả của Auto API
Auto API sử dụng cùng cấu trúc yêu cầu API như điểm cuối tương ứng của CometAPI. Khác biệt chính nằm ở giá trị của tham số model.
| Tham số | Kiểu | Mô tả |
|---|---|---|
| model | string | Đặt thành auto hoặc auto-high |
| messages | array | Các tin nhắn hội thoại |
| stream | boolean | Bật truyền phát (streaming) khi được hỗ trợ |
| tools | array | Định nghĩa công cụ |
| response_format | object | Cấu hình đầu ra có cấu trúc |
| Image input | object/array | Nội dung hình ảnh khi được hỗ trợ |
| File input | object/array | Nội dung tệp khi được hỗ trợ |
| Reasoning parameters | object/string | Các thiết lập liên quan đến suy luận do mô hình đã chọn hỗ trợ |
Auto API hoạt động như thế nào?
Khi một yêu cầu dùng model=auto hoặc model=auto-high, CometAPI trước tiên sẽ xem xét đặc điểm của yêu cầu. Những đặc điểm này có thể bao gồm loại client, việc yêu cầu có chứa hình ảnh hoặc tệp, độ dài đầu vào ước tính, việc sử dụng công cụ, yêu cầu đầu ra có cấu trúc, truyền phát, và các tham số liên quan đến suy luận.
Dựa trên các đặc điểm đó, yêu cầu sẽ được ghép với kịch bản định tuyến phù hợp. Sau đó, CometAPI chọn một mô hình đủ điều kiện từ nhóm mô hình tương ứng theo cấp chất lượng đã cấu hình, tình trạng khả dụng của mô hình, mức độ ưu tiên, trọng số, quyền nhóm người dùng, khả năng, giá và khả dụng của kênh.
Sau khi mô hình được chọn, yêu cầu tiếp tục đi qua hệ thống định tuyến kênh thông thường của CometAPI. Do đó, định tuyến Auto xác định mô hình nào sẽ xử lý yêu cầu, trong khi định tuyến kênh xác định kênh nhà cung cấp sẵn có nào sẽ xử lý yêu cầu cho mô hình đó.
Định tuyến Auto không tự động tạo kênh hay bỏ qua cấu hình kênh hiện có. Một mô hình phải có cấu hình giá và định tuyến kênh cần thiết trước khi có thể xử lý yêu cầu thành công.
Vì vậy, mô hình trả về trong phản hồi API có thể khác với mô hình được chỉ định trong yêu cầu. Ví dụ, một yêu cầu dùng model=auto có thể trả về tên mô hình thực tế trong trường model. Đây là hành vi mong đợi và cho biết mô hình nào cuối cùng đã được bộ định tuyến chọn.
Auto và Auto-High: Khác nhau ở điểm nào?
Auto là tùy chọn định tuyến mục đích chung. Mục tiêu là cung cấp sự cân bằng thực tiễn giữa chất lượng phản hồi, chi phí, tốc độ và khả dụng. Phù hợp làm lựa chọn mặc định cho hầu hết ứng dụng hàng ngày.
Auto-High dành cho người dùng ưu tiên mô hình mạnh hơn và chất lượng phản hồi cao hơn. Phù hợp hơn cho suy luận phức tạp, lập trình nâng cao, phân tích chi tiết và các khối lượng công việc nhạy về chất lượng khác.
auto-high không có nghĩa là mọi yêu cầu đều được gửi đến một mô hình cao cấp cụ thể. Giống như auto, nó động chọn mô hình từ nhóm mô hình chất lượng cao đã cấu hình theo đặc điểm của yêu cầu.
| Tính năng | auto | auto-high |
|---|---|---|
| Mục đích | Định tuyến tự động tổng quát | Định tuyến tự động ưu tiên chất lượng cao hơn |
| Lựa chọn mô hình | Tự động | Tự động |
| Mô hình cố định | Không | Không |
| Trọng tâm chính | Cân bằng chi phí, tốc độ, tính sẵn sàng và khả năng | Lựa chọn mô hình chất lượng cao |
| Phù hợp nhất | Khối lượng công việc sản xuất tổng quát | Khối lượng công việc phức tạp hoặc nhạy về chất lượng |
| Mô hình có thể thay đổi | Có | Có |
Nói đơn giản, dùng auto khi bạn muốn một mặc định cân bằng, và dùng auto-high khi chất lượng phản hồi là ưu tiên cao hơn.
Các trường hợp sử dụng
Ứng dụng AI tổng quát
Auto là lựa chọn tiện lợi cho chatbot, tạo nội dung, tóm tắt, phân loại, hỗ trợ khách hàng và các ứng dụng AI mục đích chung khác. Nhà phát triển không cần duy trì chiến lược chọn mô hình cố định cho từng yêu cầu.
Lập trình và phát triển
Các ứng dụng lập trình có thể hưởng lợi từ định tuyến Auto vì các yêu cầu liên quan đến lập trình có thể được điều hướng về các mô hình được cấu hình cho tác vụ kỹ thuật phần mềm. Điều này hữu ích cho trợ lý lập trình, tích hợp IDE, sinh mã, gỡ lỗi, kiểm tra mã và agent phát triển.
Phân tích và suy luận phức tạp
auto-high phù hợp cho tác vụ trong đó chất lượng phản hồi quan trọng hơn việc tối thiểu hóa chi phí mô hình. Ví dụ gồm phân tích kỹ thuật, suy luận phức tạp, tác vụ nghiên cứu, phân tích tài liệu chi tiết và quy trình agent tinh vi.
Ứng dụng đa phương thức
Khi được quy tắc định tuyến và các mô hình ứng viên hỗ trợ, Auto có thể định tuyến các yêu cầu chứa hình ảnh hoặc tệp đến các mô hình có khả năng xử lý những đầu vào này.
Ứng dụng khối lượng lớn
Auto cũng hữu ích cho các ứng dụng xử lý nhiều loại yêu cầu. Thay vì triển khai và duy trì logic chọn mô hình trong mã ứng dụng, nhà phát triển có thể để CometAPI quản lý lựa chọn mô hình tập trung.
Những hạn chế của Auto API là gì?
Auto không đảm bảo mọi yêu cầu sẽ được xử lý bởi cùng một mô hình. Do lựa chọn mô hình là động, mô hình nền có thể thay đổi khi điều kiện và cấu hình định tuyến thay đổi.
Auto cũng không đảm bảo mức giá thấp nhất. Mục tiêu là lựa chọn mô hình thông minh thay vì chỉ chọn mô hình rẻ nhất đang có.
Một hạn chế khác là khả năng cụ thể theo mô hình có thể khác nhau. Các mô hình khác nhau có thể hỗ trợ độ dài ngữ cảnh, công cụ, đầu vào hình ảnh, đầu ra có cấu trúc hoặc tính năng khác khác nhau. Do đó, Auto hoạt động tốt nhất khi các mô hình ứng viên được cấu hình có thông tin khả năng chính xác.
Cuối cùng, việc chọn một mô hình không đảm bảo yêu cầu có thể hoàn tất thành công. Mô hình đã chọn vẫn phải có tuyến kênh khả dụng cho nhóm người dùng liên quan. Nếu không có kênh phù hợp, yêu cầu có thể thất bại dù Auto đã xác định mô hình thành công.
Auto xử lý các loại yêu cầu khác nhau như thế nào?
Lợi ích chính của Auto là nhà phát triển không cần thủ công duy trì logic chọn mô hình riêng cho từng loại yêu cầu phổ biến.
Một yêu cầu văn bản thông thường có thể được xử lý bởi nhóm mô hình mặc định. Một yêu cầu lập trình có thể được điều hướng đến nhóm mô hình định hướng lập trình. Một yêu cầu ngữ cảnh lớn có thể được ghép với các mô hình hỗ trợ kích thước đầu vào cần thiết. Một yêu cầu hình ảnh có thể được định tuyến đến mô hình có khả năng thị giác.
Điều này cho phép cùng một điểm vào API hỗ trợ các kịch bản ứng dụng khác nhau trong khi vẫn giữ tích hợp phía client đơn giản.
Lợi ích của việc sử dụng CometAPI Auto API là gì?
Lợi ích chính của Auto là tách biệt logic ứng dụng khỏi logic chọn mô hình.
Nếu không có định tuyến tự động, nhà phát triển thường phải quyết định mô hình nào sẽ xử lý từng yêu cầu và sau đó duy trì các chiến lược dự phòng khi mô hình trở nên không khả dụng, đắt đỏ hoặc không phù hợp cho một khối lượng công việc cụ thể.
Với Auto, ứng dụng có thể sử dụng một định danh định tuyến ổn định trong khi chiến lược mô hình nền được quản lý tập trung.
Cách tiếp cận này có thể đơn giản hóa các ứng dụng đa mô hình, giúp thay đổi mô hình dễ triển khai hơn và giảm lượng logic định tuyến đặc thù mô hình cần duy trì trong ứng dụng.
Đối với các nhóm làm việc với nhiều nhà cung cấp AI và khả năng mô hình thay đổi nhanh, lớp trừu tượng này đặc biệt có giá trị.
Auto API so với Mô hình cụ thể
| Tính năng | Auto | Mô hình cụ thể |
|---|---|---|
| Tự động chọn mô hình | Có | Không |
| Danh tính mô hình cố định | Không | Có |
| Độ đơn giản cho ứng dụng | Cao | Trung bình |
| Mức kiểm soát mô hình | Thấp | Cao |
| Tính linh hoạt | Cao | Thấp |
| Tính dự đoán | Thấp | Cao |
| Phù hợp cho khối lượng công việc hỗn hợp | Có | Phụ thuộc vào mô hình |
| Phù hợp cho kiểm thử có thể tái lập | Hạn chế | Có |
| Phù hợp nhất cho | Khối lượng công việc sản xuất linh hoạt | Ứng dụng phụ thuộc mô hình |
Cách sử dụng CometAPI Auto API
CometAPI Auto API được thiết kế để hoạt động với OpenAI-compatible Chat Completions API. Bạn không cần chọn một mô hình nền cụ thể. Chỉ cần đặt tham số model thành auto hoặc auto-high, và CometAPI sẽ tự động chọn một mô hình phù hợp dựa trên yêu cầu.
Bước 1: Lấy quyền truy cập API
Đăng nhập vào cometAPI. Nếu bạn chưa phải là người dùng của chúng tôi, vui lòng đăng ký trước. Đăng nhập vào CometAPI console. Lấy khóa API (API key) làm thông tin xác thực truy cập của giao diện. Nhấp “Add Token” tại API token trong trung tâm cá nhân, lấy khóa token: sk-xxxxx và gửi.
Bước 2: Gửi yêu cầu tới Auto API
Chọn endpoint “auto” hoặc “auto-high” để gửi yêu cầu API và thiết lập phần thân yêu cầu. Phương thức và phần thân yêu cầu được lấy từ tài liệu API trên website của chúng tôi. Website cũng cung cấp bài kiểm thử Apifox để bạn tiện sử dụng. Thay thế <YOUR_API_KEY> bằng khóa CometAPI thực tế trong tài khoản của bạn.
Sự khác biệt rất đơn giản:
auto— lựa chọn cân bằng cho khối lượng công việc chung.auto-high— ưu tiên chọn mô hình chất lượng cao hơn.
Cả hai đều không đại diện cho một mô hình nền cố định.
Bước 3: Mô hình được Auto của CometAPI chọn như thế nào?
Khi bạn gửi yêu cầu với model=auto hoặc model=auto-high, CometAPI trước tiên sẽ xác định đặc điểm của yêu cầu và quyết định kịch bản định tuyến phù hợp nhất. Hệ thống có thể xem xét các yếu tố như loại client, việc yêu cầu có chứa hình ảnh hoặc tệp, độ dài ngữ cảnh đầu vào ước tính, việc sử dụng công cụ, yêu cầu đầu ra có cấu trúc, truyền phát và các khả năng được hỗ trợ khác.
Sau khi xác định làn định tuyến phù hợp, CometAPI chọn các mô hình ứng viên từ nhóm mô hình auto hoặc auto-high tương ứng. Những mô hình bị vô hiệu hóa, không khả dụng cho nhóm người dùng, không tương thích với yêu cầu, hoặc không thể hỗ trợ ngữ cảnh hay khả năng cần thiết sẽ bị loại. Các ứng viên còn lại sẽ được đánh giá theo mức độ ưu tiên định tuyến đã cấu hình, trọng số và khả dụng.
Mô hình được chọn sau đó được chuyển cho hệ thống định tuyến kênh hiện có của CometAPI, hệ thống này sẽ tìm kênh khả dụng cho mô hình và nhóm người dùng đó. Do đó, mô hình cuối cùng không nhất thiết được cố định trước và có thể thay đổi tùy theo yêu cầu và cấu hình định tuyến hiện tại.