TL;DR
Năm 2026, Kimi K3 có thể tự lưu trữ, nhưng kho trọng số công khai khoảng 1.56 TB và công thức vLLM chính thức bắt đầu từ 8 GPU NVIDIA GB300 hoặc 8 GPU AMD MI355X/MI350X. Moonshot khuyến nghị 64 bộ tăng tốc trở lên trong cấu hình siêu nút để suy luận sản xuất hiệu quả. Với đa số đội ngũ, một API được lưu trữ vẫn là điểm khởi đầu ít rủi ro hơn.
So sánh nhanh: Tự lưu trữ Kimi K3 vs API
Tự lưu trữ Kimi K3 nghĩa là tải trọng số mở của Moonshot và vận hành trên hạ tầng do đội ngũ của bạn hoặc tài khoản đám mây của bạn quản lý. Tổ chức của bạn chịu trách nhiệm về năng lực GPU, phục vụ mô hình, mở rộng, bảo mật, nâng cấp, giám sát và độ tin cậy.
Truy cập API Kimi K3 nghĩa là gửi yêu cầu tới một endpoint do nhà cung cấp quản lý mà không vận hành cụm GPU bên dưới. Nhà cung cấp quản lý phục vụ mô hình và năng lực, còn đội ngũ của bạn trả phí theo mức sử dụng và chủ yếu tập trung vào tích hợp ứng dụng.
Moonshot giới thiệu Kimi K3 trong blog kỹ thuật chính thức ngày 16 tháng 7, 2026 và phát hành đầy đủ trọng số vào ngày 27 tháng 7. Mô hình hiện có sẵn dưới dạng checkpoint trọng số mở, nhưng “open weights” không đồng nghĩa với “dễ chạy cục bộ”. Để có cái nhìn rộng hơn về năng lực và điểm chuẩn, xem hướng dẫn truy cập Kimi K3 của CometAPI.
Khác biệt thực tế không chỉ là quyền truy cập mô hình. Vấn đề là ai sở hữu hạ tầng, hoạch định năng lực, nâng cấp và rủi ro vận hành.
| Yếu tố quyết định | Kimi K3 tự lưu trữ | Kimi K3 API được lưu trữ |
|---|---|---|
| Quyền truy cập mô hình | Toàn quyền truy cập trọng số đã phát hành và cấu hình phục vụ | Truy cập qua endpoint do nhà cung cấp quản lý |
| Dấu chân trọng số | Khoảng 1.56 TB trong kho mô hình công khai | Không cần tải hoặc lưu trữ mô hình |
| Tối thiểu chính thức | 8x NVIDIA GB300, hoặc 8x AMD MI355X/MI350X | Không cần mua sắm GPU |
| Hướng dẫn sản xuất | Nhiều nút với miền truyền thông băng thông cao | Nhà cung cấp quản lý năng lực và mở rộng |
| Cấu trúc chi phí | Hạ tầng cố định cộng kỹ thuật và vận hành | Thanh toán biến thiên theo mức sử dụng |
| Rủi ro sử dụng | Dung lượng nhàn rỗi vẫn phát sinh chi phí | Chi tiêu thường theo sát mức sử dụng thực tế |
| Trách nhiệm nâng cấp | Đội ngũ của bạn xác nhận runtime, trọng số và thay đổi phục vụ | Nhà cung cấp quản lý cập nhật stack phục vụ |
| Kiểm soát đường dữ liệu | Kiểm soát cao hơn đối với triển khai, ghi log và lưu giữ | Phụ thuộc kiến trúc và điều khoản của nhà cung cấp |
| Rà soát giấy phép | Giấy phép Kimi K3 trực tiếp điều chỉnh việc sử dụng trọng số | Điều khoản nhà cung cấp điều chỉnh truy cập được lưu trữ |
| Phù hợp nhất | Khối lượng ổn định, có chuyên môn suy luận phân tán, yêu cầu kiểm soát nghiêm | Đánh giá, nhu cầu biến động, triển khai nhanh, nhân sự hạ tầng hạn chế |
Câu hỏi trọng tâm không phải là việc tự lưu trữ có khả thi kỹ thuật hay không, mà là liệu đội ngũ của bạn có thể giữ cho hạ tầng cần thiết đủ bận—và vận hành đủ tin cậy—để vượt trội hơn truy cập được lưu trữ về tổng chi phí trên mỗi tác vụ được chấp nhận.
Bạn có thể tự lưu trữ Kimi K3 không?
Có. Moonshot đã công bố đầy đủ trọng số trong kho Kimi K3 chính thức theo Giấy phép Kimi K3 tùy chỉnh. Các tuyến triển khai công khai bao gồm vLLM, SGLang, và TokenSpeed.
Tuy nhiên, Kimi K3 không phải là mô hình hạng workstation. Đây là mô hình Mixture-of-Experts 2.8 nghìn tỷ tham số với 104 tỷ tham số được kích hoạt mỗi token, 896 chuyên gia được định tuyến, đa phương thức gốc, trọng số MXFP4, kích hoạt MXFP8, và cửa sổ ngữ cảnh lên tới 1,048,576 token.
Con số 104B tham số được kích hoạt mô tả lượng dung lượng mô hình được sử dụng trong mỗi bước token. Nó không có nghĩa chỉ cần lưu trữ 104B tham số. Bộ định tuyến có thể chọn các chuyên gia khác nhau trong quá trình sinh, vì vậy toàn bộ tập chuyên gia vẫn là một phần của mô hình được triển khai.
Kimi K3 tự lưu trữ vs API: Yêu cầu hạ tầng
Tự lưu trữ Kimi K3 cần môi trường GPU phân tán lớn, trong khi truy cập API được lưu trữ loại bỏ nhu cầu vận hành cụm phục vụ mô hình bên dưới. Năm 2026, tiêu chuẩn tự lưu trữ chính thức bắt đầu từ 8 GPU NVIDIA GB300 hoặc AMD MI355X/MI350X, còn người dùng API chỉ cần hạ tầng ứng dụng tiêu chuẩn.
Khác biệt không chỉ là ai sở hữu GPU. Tự lưu trữ cũng khiến đội ngũ của bạn chịu trách nhiệm về lưu trữ mô hình, mạng nhiều nút, hoạch định năng lực, triển khai, mở rộng, giám sát, nâng cấp và khôi phục sự cố. Với API được lưu trữ, phần lớn trách nhiệm đó chuyển sang nhà cung cấp.
Yêu cầu phần cứng cho tự lưu trữ
vLLM recipe chính thức hiện tại liệt kê các điều kiện tiên quyết để chạy đầy đủ checkpoint Kimi K3 như sau:
- NVIDIA: ít nhất 8x GPU GB300
- AMD ROCm: ít nhất 8x GPU MI355X hoặc MI350X
- Lưu lượng sản xuất: khuyến nghị triển khai nhiều nút
- vLLM: phiên bản 0.27.0 trở lên, sử dụng image Kimi K3 và các hồ sơ triển khai đã được ghi chép
Các yêu cầu này thể hiện ngưỡng phục vụ được ghi nhận, không đảm bảo rằng hệ thống 8 GPU sẽ đáp ứng mọi khối lượng công việc sản xuất.
Tài liệu ra mắt của Moonshot còn tiến xa hơn. Để tăng hiệu quả suy luận, họ khuyến nghị triển khai Kimi K3 trên cấu hình siêu nút với 64 bộ tăng tốc trở lên. Khuyến nghị này đặc biệt phù hợp với các đội nhắm đến mức đồng thời cao, khối lượng công việc ngữ cảnh dài hoặc độ trễ có thể dự đoán dưới tải.
Nút thắt không chỉ là tổng bộ nhớ GPU. Kimi K3 kích hoạt 16 trong số 896 chuyên gia được định tuyến mỗi token, vì vậy các triển khai song song theo chuyên gia tạo ra lưu lượng all-to-all đáng kể giữa các bộ tăng tốc.
vLLM recipe chính thức khuyến nghị các backend truyền thông như deepep_v2 cho môi trường RDMA và flashinfer_nvlink_one_sided cho truyền thông liên nút dựa trên NVLink. Do đó, 8 GPU nối qua mạng chậm không tương đương vận hành với 8 GPU bên trong một hệ thống kết nối chặt chẽ, băng thông cao.
Tự lưu trữ cần bao nhiêu lưu trữ và bộ nhớ runtime?
Checkpoint Kimi K3 công khai khoảng 1.56 TB, theo kho Hugging Face chính thức.
Một phép tính giới hạn dưới lý thuyết cho 2.8 nghìn tỷ tham số được lưu ở 4 bit mỗi tham số là:
2.8 trillion parameters × 4 bits ÷ 8
= 1.4 trillion bytes
= about 1.4 TB, or 1.27 TiB
Vì sao Kimi K3 khó phục vụ hơn một mô hình tiêu chuẩn?
Kimi K3 khó phục vụ hơn vì kiến trúc MoE phân tán kết hợp lưu lượng chuyên gia all-to-all, lập kế hoạch bộ nhớ đệm ngữ cảnh dài, lịch sử lập luận đặc thù của mô hình và xác thực lời gọi công cụ. Các đội phải benchmark hiệu năng liên kết, chiến lược song song, hành vi prefill và decode, đồng thời, và xử lý retry thay vì coi nó như endpoint mô hình đơn nút thông thường.
vLLM recipe chính thức nêu bật một số cân nhắc sản xuất:
- Lưu lượng liên nút cần backend all-to-all phù hợp và hạ tầng truyền thông băng thông cao.
- Backend MoE thay đổi theo chiến lược song song và topo phần cứng.
- Song song theo tensor, song song theo chuyên gia, và các hồ sơ prefill/decode tách rời được ghi chép cần được benchmark so với khối lượng công việc thực.
max-model-len, đồng thời, và sử dụng bộ nhớ cần tinh chỉnh rõ ràng thay vì dùng mặc định.- K3 đôi khi có thể phát ra định dạng lời gọi công cụ mà chính bộ phân tích của nó không mong đợi; recipe khuyến nghị xác thực schema và xử lý retry.
Ngữ cảnh 1M token có “miễn phí” để dùng không?
Không. Moonshot không áp dụng bậc giá mỗi token cao hơn chỉ vì yêu cầu dùng ngữ cảnh dài hơn, nhưng prompt dài vẫn tiêu thụ token đầu vào và tăng công việc prefill, nhu cầu KV cache, độ trễ và áp lực đồng thời. Cấu hình max-model-len quanh khối lượng công việc bạn thực sự định phục vụ thay vì bật tối đa theo mặc định.
Tính tương thích ứng dụng cũng quan trọng. Theo hướng dẫn nhanh Kimi K3 API của Moonshot, K3 luôn lập luận và hỗ trợ các giá trị reasoning_effort là low, high và max, với max là mặc định. Điều này có thể tăng số token sinh, nhưng chi phí phát sinh thay đổi theo tác vụ và mức effort. Hãy đo lường token lập luận và token đầu ra trên bộ đánh giá của riêng bạn thay vì giả định một hệ số cố định. Đối với hội thoại nhiều lượt và lời gọi công cụ, hãy gửi lại đầy đủ thông điệp của trợ lý, bao gồm reasoning_content và tool_calls, thay vì chỉ giữ câu trả lời hiển thị.
Một endpoint được lưu trữ loại bỏ phần lớn công việc cấp cụm, nhưng không loại bỏ xác thực ở cấp ứng dụng, logic retry, đo độ trễ hoặc xử lý trạng thái nhiều lượt.
Kimi K3 API tốn bao nhiêu?
Tính đến tháng 7 năm 2026, Moonshot tính phí $0.30 cho 1M cache-hit input tokens, $3.00 cho 1M cache-miss input tokens, và $15.00 cho 1M output tokens. Chi phí hiệu dụng phụ thuộc nhiều vào tái sử dụng bộ đệm tiền tố và độ dài đầu ra, vì vậy các đội nên đo mức sử dụng bị tính phí với các yêu cầu mang hình dạng sản xuất thay vì chỉ so sánh mức giá đầu vào tiêu đề.
Trang giá Kimi K3 chính thức của Moonshot liệt kê:
| Sử dụng API | Giá chính thức trên 1M tokens |
|---|---|
| Cache-hit input | $0.30 |
| Cache-miss input | $3.00 |
| Output | $15.00 |
Công thức chi phí yêu cầu trực tiếp là:
API cost =
(cache-hit input tokens ÷ 1M × $0.30)
- (cache-miss input tokens ÷ 1M × $3.00)
- (output tokens ÷ 1M × $15.00)
Ví dụ, một yêu cầu với 300,000 token đầu vào và 30,000 token đầu ra có chi phí:
- $1.35 nếu toàn bộ đầu vào bị tính như cache-miss input
- $0.54 nếu toàn bộ đầu vào nhận mức giá cache-hit
Khối lượng công việc thực thường nằm giữa hai trường hợp đó. Hiệu năng cache phụ thuộc vào mức độ ứng dụng tái sử dụng một tiền tố không đổi và cách nhà cung cấp triển khai cache.
Giá được lưu trữ cũng khác nhau theo nhà cung cấp. Tính đến tháng 7 năm 2026, CometAPI liệt kê Kimi K3 ở mức $2.40 trên 1M input tokens và $12.00 trên 1M output tokens—thấp hơn 20% so với mức cache-miss tiêu chuẩn của Moonshot là $3.00 cho đầu vào và $15.00 cho đầu ra. Tuy nhiên, đây không phải là mức tiết kiệm 20% phổ quát. Moonshot chỉ tính $0.30 cho 1M cache-hit input tokens, vì vậy khối lượng công việc có tỷ lệ cache-hit cao có thể rẻ hơn qua API chính thức.
Hãy dùng trang mô hình trực tiếp của CometAPI làm nguồn giá hiện tại, và xem hướng dẫn giá Kimi K3 API để biết ví dụ về chi phí. So sánh cả hai tuyến bằng mức sử dụng thực bị tính phí từ cùng một bộ đánh giá, bao gồm cache hits, token lập luận, retry và tỷ lệ tác vụ được chấp nhận.
Tự lưu trữ Kimi K3 tốn bao nhiêu?
Kimi K3 không có mức giá tự lưu trữ phổ quát. Chi phí đầy đủ phụ thuộc vào kích thước cụm, điều khoản hợp đồng, mức sử dụng hiệu dụng, mạng, lưu trữ, kỹ thuật và mục tiêu độ tin cậy. Một kịch bản hoạch định 8 GPU có thể đã vượt $58,000 mỗi tháng chỉ riêng hạ tầng, trong khi topo sản xuất 64+ bộ tăng tốc do Moonshot khuyến nghị sẽ yêu cầu mô hình chi phí riêng, lớn hơn nhiều.
Hãy dùng mô hình chi phí hàng tháng đầy đủ:
Chi phí tự lưu trữ hàng tháng =
chi phí bộ tăng tốc hoặc cụm
- kỹ thuật nền tảng
- vận hành suy luận
- mạng và lưu trữ
- khả năng quan sát và bảo mật
- dự phòng và dung lượng rỗi
Kịch bản hạ tầng 8 GPU minh họa
Bảng sau dùng 730 giờ mỗi tháng và ba mức giả định cho một cụm tối thiểu luôn sẵn sàng. Các con số này là dữ liệu hoạch định, không phải báo giá. Chúng cũng không đại diện cho khuyến nghị sản xuất 64+ bộ tăng tốc của Moonshot.
| Mức giá cụm giả định | Chi phí hạ tầng hàng tháng | Số yêu cầu tương đương chi tiêu ở $1.35 mỗi yêu cầu | Số yêu cầu tương đương chi tiêu ở $0.54 mỗi yêu cầu |
|---|---|---|---|
| $80/giờ | $58,400 | 43,300 | 108,100 |
| $120/giờ | $87,600 | 64,900 | 162,200 |
| $160/giờ | $116,800 | 86,500 | 216,300 |
Bổ sung kỹ thuật, giám sát, dự phòng, mạng và dung lượng nhàn rỗi sẽ nâng ngưỡng tự lưu trữ. Một topo sản xuất lớn hơn còn nâng ngưỡng đó thêm nữa.
Mức sử dụng quan trọng, nhưng không có ngưỡng chung
Không có tỷ lệ sử dụng GPU phổ quát tại đó tự lưu trữ trở nên rẻ hơn. Mức cần thiết phụ thuộc vào thông lượng đo được, chi phí phần cứng, mục tiêu độ trễ, dự phòng và liệu phần cứng là chi phí mới hay đã được sở hữu.
Thay vào đó, hãy theo dõi mức sử dụng hiệu dụng:
Mức sử dụng hiệu dụng =
số giờ cụm dành cho khối lượng công việc được chấp nhận
÷ tổng số giờ cụm được cấp phát
Một con số sử dụng cao là chưa đủ nếu yêu cầu không đạt mục tiêu độ trễ hoặc chất lượng. Tương tự, con số thấp hơn vẫn có thể chấp nhận khi phần cứng đã được cam kết cho khối lượng công việc khác. Hãy dùng mức sử dụng như một đầu vào cho mô hình TCO, không phải quy tắc quyết định độc lập.
Mẫu số hữu ích nhất không phải là số yêu cầu thô. Đó là khối lượng công việc tương đương được chấp nhận:
Điểm hòa vốn theo tác vụ được chấp nhận =
tổng chi phí tự lưu trữ hàng tháng
÷ chi phí API được lưu trữ trên mỗi tác vụ tương đương được chấp nhận
Bao gồm lỗi, retry, vi phạm độ trễ, rà soát thủ công và đầu ra suy giảm ở cả hai phía. Hai endpoint dùng cùng trọng số không tương đương kinh tế nếu một trong số đó không đạt mục tiêu độ tin cậy hoặc chất lượng của ứng dụng.
Giấy phép Kimi K3 cho phép gì?
Giấy phép Kimi K3 tùy chỉnh cấp quyền rộng rãi để sử dụng, sao chép, sửa đổi, tinh chỉnh, triển khai, phân phối, cấp phép lại và bán phần mềm và trọng số mô hình. Nó cũng bao gồm các điều kiện quan trọng đối với các doanh nghiệp Model-as-a-Service lớn và sản phẩm thương mại quy mô cao.
| Câu hỏi về giấy phép | Điều kiện đã công bố |
|---|---|
| Doanh nghiệp có thể dùng và sửa trọng số? | Có, tuân thủ các điều kiện giấy phép và luật hiện hành |
| “Model as a Service” là gì? | Truy cập suy luận hoặc tinh chỉnh của bên thứ ba cho phép kiểm soát có ý nghĩa đối với đầu vào, tham số hoặc dữ liệu huấn luyện |
| Điều gì bị loại trừ khỏi định nghĩa đó? | Tính năng sản phẩm nhúng và chỉ chuyển tiếp tới mô hình do bên khác lưu trữ |
| Điều gì kích hoạt yêu cầu thỏa thuận MaaS? | Hơn $20 triệu doanh thu tổng cộng trong bất kỳ 12 tháng liên tiếp nào cho bên được cấp phép và các công ty liên kết vận hành hoạt động MaaS |
| Điều gì xảy ra trên ngưỡng đó? | Cần thỏa thuận riêng với Moonshot trước khi sử dụng thương mại phần mềm hoặc dẫn xuất |
| Khi nào cần ghi nhận nguồn hiển thị? | Sản phẩm/dịch vụ thương mại có hơn 100 triệu MAU hoặc hơn $20 triệu doanh thu hàng tháng phải hiển thị nổi bật “Kimi K3” |
| Trường hợp nào được miễn Mục 2 và 3? | Sử dụng nội bộ và truy cập qua sản phẩm chính thức của Moonshot hoặc đối tác suy luận được chứng nhận |
Với hầu hết triển khai nội bộ và ứng dụng thương mại thông thường, giấy phép không cấm sử dụng theo mặc định. Các đội bán quyền truy cập mô hình trực tiếp, vận hành API mô hình hoặc tiến gần các ngưỡng nêu trên nên để bộ phận pháp lý rà soát thiết kế sản phẩm cụ thể và cấu trúc doanh nghiệp.
“Open-weight” là mô tả chính xác hơn “mã nguồn mở hoàn toàn” vì việc sử dụng được điều chỉnh bởi giấy phép tùy chỉnh này thay vì chỉ một giấy phép phần mềm tự do tiêu chuẩn.
API vs tự lưu trữ Kimi K3: Nên chọn cái nào?
Với đa số đội ngũ vào năm 2026, truy cập API được lưu trữ là bước đầu tốt hơn vì nhu cầu, hành vi bộ đệm và chi phí trên mỗi tác vụ được chấp nhận vẫn chưa chắc chắn. Chỉ chọn tự lưu trữ khi mức sử dụng bền vững, yêu cầu kiểm soát dữ liệu hoặc tùy chỉnh runtime đã được đo lường so với chi phí đầy đủ của một triển khai sản xuất tin cậy tương đương.
Chọn API được lưu trữ khi:
- Lưu lượng mới, biến động hoặc khó dự báo.
- Cần truy cập sản xuất mà không cần chu kỳ mua sắm GPU.
- Đội ngũ của bạn chưa vận hành suy luận MoE phân tán.
- Mức sử dụng còn thấp hơn ngưỡng hòa vốn đã tính.
- Mở rộng được quản lý, cập nhật và năng lực quý hơn kiểm soát runtime.
- Điều khoản xử lý dữ liệu và dịch vụ của nhà cung cấp đáp ứng yêu cầu của bạn.
Chọn tự lưu trữ khi:
- Nhu cầu bền vững và có thể dự đoán đủ để giữ cụm ở mức sử dụng cao.
- Tổ chức đã có hạ tầng GPU phân tán và kỹ sư suy luận.
- Yêu cầu đường dữ liệu được kiểm soát, môi trường chuyên dụng hoặc chính sách lưu giữ tùy chỉnh là bắt buộc.
- Cần kiểm soát trực tiếp phiên bản mô hình, lập lịch, cài đặt runtime hoặc trọng số tinh chỉnh.
- Chi tiêu được lưu trữ đo lường tiến gần chi phí nội bộ đầy đủ của một triển khai tin cậy tương đương.
- Rà soát pháp lý xác nhận việc sử dụng phù hợp với Giấy phép Kimi K3.
Cân nhắc triển khai lai khi:
- Nhu cầu cơ bản có thể dự đoán nhưng lưu lượng có các đợt bùng phát lớn.
- Năng lực tự lưu trữ phục vụ tải ổn định trong khi API xử lý phần tràn.
- Bạn cần phương án dự phòng được quản lý cho bảo trì hoặc sự cố theo vùng.
- Prompt, schema công cụ, bài kiểm chấp nhận và hành vi mô hình vẫn có thể di động trên cả hai tuyến.
Chiến lược lai tăng độ phức tạp định tuyến và quan sát, vì vậy nó nên giải quyết vấn đề dung lượng hoặc khả năng chống chịu đã đo lường thay vì chỉ là sở thích kiến trúc.
Nên kiểm thử điểm hòa vốn API vs tự lưu trữ thế nào?
Chạy cùng một bộ đánh giá mang hình dạng sản xuất qua các tuyến được lưu trữ và tự quản lý, rồi so sánh chi phí trên mỗi tác vụ được chấp nhận—không chỉ giá token thô hoặc tiền thuê GPU. Một bài kiểm khả tín nên đo cache hit, token đầu ra, độ trễ, retry, chất lượng, đồng thời, thời gian kỹ thuật, dung lượng nhàn rỗi và khôi phục lỗi trong ít nhất một giai đoạn vận hành đại diện.
- Tạo bộ đánh giá đại diện. Bao gồm 30 đến 50 tác vụ bao quát tổ hợp thực tế của yêu cầu mã hóa, ngữ cảnh dài, thị giác và gọi công cụ.
- Đo mức sử dụng được lưu trữ trong ít nhất một tuần. Ghi nhận token đầu vào, token cache-hit, token đầu ra, độ trễ, retry, lỗi và tỷ lệ tác vụ được chấp nhận.
- Kiểm thử topo tự lưu trữ đề xuất. Dùng giới hạn ngữ cảnh, đồng thời, chiến lược song song và cài đặt độ tin cậy dự định—không phải màn trình diễn đơn người dùng.
- Tính chi phí hàng tháng đầy đủ. Bao gồm thời gian cụm, kỹ thuật, khả năng quan sát, dự phòng, lưu trữ, mạng, bảo mật và dung lượng rỗi.
- So sánh kinh tế theo tác vụ được chấp nhận. Xác nhận chất lượng, độ trễ và độ tin cậy tương đương trước khi so sánh chi phí.
- Chạy các kịch bản lỗi. Kiểm thử mất nút, rollback triển khai, tăng trưởng hàng đợi, bùng phát ngữ cảnh dài và lời gọi công cụ sai định dạng.
- Chỉ phê duyệt tự lưu trữ khi luận điểm vận hành có thể đo lường. Kiểm soát chiến lược có thể biện minh cho chi phí cao hơn, nhưng đánh đổi phải rõ ràng.
Với đường cơ sở được lưu trữ, CometAPI quickstart cung cấp tuyến tương thích OpenAI. Giữ nguyên prompt, công cụ và tiêu chí chấp nhận khi thử nhà cung cấp khác hoặc endpoint tự lưu trữ.
Câu hỏi thường gặp
Kimi K3 có chạy trên một GPU không?
Không theo hướng dẫn phục vụ đầy đủ mô hình chính thức. vLLM recipe bắt đầu từ 8 GPU NVIDIA GB300 hoặc 8 GPU AMD MI355X/MI350X và khuyến nghị hạ tầng nhiều nút cho lưu lượng sản xuất thực. Topo cuối cùng phụ thuộc vào độ dài ngữ cảnh, đồng thời, độ trễ và mục tiêu dự phòng.
Tự lưu trữ Kimi K3 cần bao nhiêu lưu trữ?
Kho Hugging Face công khai khoảng 1.56 TB. Nhu cầu bộ nhớ runtime cao hơn vì phục vụ còn cần metadata lượng tử hóa, activations, KV cache, bộ đệm truyền thông và dung lượng cho đồng thời.
Kimi K3 có phải mã nguồn mở?
Kimi K3 phù hợp nhất được mô tả là trọng số mở theo Giấy phép Kimi K3 tùy chỉnh. Trọng số được công khai và có thể sửa đổi, triển khai, nhưng các nhà vận hành MaaS lớn và sản phẩm thương mại cực lớn phải tuân thủ thêm điều kiện.
Tự lưu trữ Kimi K3 rẻ hơn truy cập API không?
Có thể rẻ hơn khi mức sử dụng bền vững và cao, nhưng không có điểm hòa vốn chung. So sánh chi phí hàng tháng đầy đủ của một triển khai tin cậy tương đương với chi phí được lưu trữ trên mỗi tác vụ được chấp nhận, bao gồm hành vi cache, retry, độ trễ và dung lượng nhàn rỗi.
Công cụ suy luận nào hỗ trợ Kimi K3?
Moonshot hiện khuyến nghị vLLM, SGLang và TokenSpeed. vLLM recipe cung cấp chuẩn phần cứng công khai rõ ràng nhất, trong khi mỗi engine vẫn cần xác thực theo khối lượng công việc.
Hãy thử tuyến được lưu trữ trước khi mua hạ tầng
Trọng số mở của Kimi K3 tạo ra lựa chọn tự lưu trữ thực sự, nhưng kích thước checkpoint và yêu cầu phục vụ phân tán khiến đây là một dự án hạ tầng chứ không phải triển khai mô hình thông thường.
Bắt đầu với một bộ đánh giá cố định. Đo mức sử dụng token, hành vi cache, độ trễ, retry và chất lượng tác vụ được chấp nhận qua một endpoint được lưu trữ. Sau đó so sánh các kết quả đó với topo tự lưu trữ đã kiểm thử tải, sử dụng chi phí hàng tháng đầy đủ—không chỉ hóa đơn GPU.
CometAPI cung cấp tuyến tương thích OpenAI để thiết lập đường cơ sở đó. Dùng hướng dẫn Cách dùng Kimi K3 API cho chi tiết triển khai, CometAPI quickstart cho bước di trú, và trang mô hình Kimi K3 cùng trang giá trực tiếp để xem tình trạng và mức giá hiện tại.