Thẻ

Các Mô hình Liên quan

Kimi K3.1 Pro

Xây dựng với CometAPICần một API cho nhiều mô hình?Kiểm thử quy trình trong Playground, sau đó tạo API key khi mô hình và chi phí phù hợp với trường hợp sử dụng của bạn.

guide/Nghiên cứu CometAPI

Cách triển khai Kimi K3.1 Pro cục bộ: Yêu cầu phần cứng, thiết lập vLLM

Tìm hiểu cách tự triển khai Kimi K3.1 Pro với vLLM, kiểm tra yêu cầu GPU, tải xuống trọng số, kiểm thử suy luận và so sánh triển khai cục bộ với truy cập API.

Deon GoodwinĐội ngũ nghiên cứu mô hình AI và API

Đã cập nhật Nov 10, 2026 19 phút đọc

Cách triển khai Kimi K3.1 Pro cục bộ: Yêu cầu phần cứng, thiết lập vLLM

Sử dụng mẫu này

Thực hiện API call đầu tiên.

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_COMETAPI_KEY",
    base_url="https://api.cometapi.com/v1",
)

response = client.chat.completions.create(
    model="gpt-5-mini",
    messages=[{"role": "user", "content": "Build this workflow."}],
)

print(response.choices[0].message.content)

TL;DR

Triển khai Kimi K3.1 Pro trên máy chủ GPU Linux, sau đó kết nối ứng dụng cục bộ với endpoint suy luận của nó. Hướng dẫn này sử dụng một nút NVIDIA B300 tám GPU với vLLM. Bạn sẽ cần quyền truy cập shell vào máy chủ, driver tương thích và bộ nhớ lưu trữ cho toàn bộ checkpoint. Bắt đầu bằng cách hoàn thành một yêu cầu văn bản ngắn trước khi thử các đầu vào dài hơn hoặc quy trình tác tử.

Nếu không có GPU phù hợp, bạn có thể chạy ứng dụng cục bộ và kết nối nó với Kimi API chính thức hoặc nhà cung cấp bên thứ ba như CometAPI.

Điểm chính

104B tham số hoạt động của mô hình không đại diện cho yêu cầu lưu trữ đầy đủ của nó.
Tương thích phần cứng bao gồm bộ nhớ GPU, liên kết liên GPU, hỗ trợ lượng tử hóa và kernel suy luận.

Tiếp tục học

Kết nối bài viết này với quyết định tiếp theo.

Xem tất cả chủ đề

Hướng dẫn API AI

Từ danh sách rút gọn mô hình đến một request production hoạt động.

Hạ tầng LLM

Xây dựng một lớp yêu cầu AI có thể hoạt động bền vững qua các thay đổi của nhà cung cấp và model.

AI Agent

Chuyển từ demo prompt sang một quy trình agent có thể quan sát được.

Tối ưu hóa chi phí

Giảm chi phí mà không che giấu các đánh đổi về chất lượng hoặc độ tin cậy.

Được xuất bản Nov 10, 2026

Cập nhật lần cuối Nov 10, 2026

41 lượt xem

Đã được xem xét về độ rõ ràng, ghi nguồn và thuật ngữ API hiện tại.

Thông số	Cấu hình đã công bố
Kiến trúc	MoE; 2.8T tổng tham số, 104B hoạt động
Attention	93 lớp: 69 KDA + 24 Gated DSA
Experts	896 được định tuyến; 16 chọn mỗi token; 2 dùng chung
Ngữ cảnh	1,048,576 token
Đầu vào	Văn bản và hình ảnh; bộ mã hóa thị giác MoonViT-V2
Lượng tử hóa	Trọng số MXFP4 / kích hoạt MXFP8; checkpoint độ chính xác hỗn hợp
Engine khuyến nghị	vLLM, SGLang, TokenSpeed

Phần cứng	Lộ trình được ghi nhận	Ghi chú lập kế hoạch
NVIDIA B300	Một nút tám GPU, TP8	Cơ sở cho hướng dẫn bên dưới
NVIDIA GB300	Tám GPU trên hai khay, TP8	Yêu cầu cấu hình multi-node và thiết lập liên kết
AMD MI355X	Nút tám GPU với cấu hình đặc thù AMD	Sử dụng đường ROCm/AITER; không tái sử dụng môi trường NVIDIA
GPU tiêu dùng 24–32 GB đơn	Không đủ cho tải trực tiếp full-checkpoint	Không phải mục tiêu thực tế cho hướng dẫn này

nvidia-smi
nvidia-smi topo -m
df -h

python3 -m venv kimi-env
source kimi-env/bin/activate
python -m pip install --upgrade pip
python -m pip install --upgrade huggingface_hub
python -m pip install "vllm>=0.34.0" fastsafetensors
python -c "import vllm; print(vllm.__version__)"

python -m pip install --upgrade huggingface_hub

hf download moonshotai/Kimi-K3.1-Pro \
  --local-dir /srv/models/Kimi-K3.1-Pro

export VLLM_ENGINE_READY_TIMEOUT_S=3600

vllm serve /srv/models/Kimi-K3.1-Pro \
  --served-model-name kimi-local \
  --tensor-parallel-size 8 \
  --trust-remote-code \
  --load-format fastsafetensors \
  --enable-auto-tool-choice \
  --tool-call-parser kimi_k3 \
  --reasoning-parser kimi_k3 \
  --max-model-len 32768 \
  --host 127.0.0.1 \
  --port 8000

ssh -N -L 8000:127.0.0.1:8000 user@gpu-server

curl http://127.0.0.1:8000/v1/models

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "kimi-local",
    "messages": [
      {
        "role": "user",
        "content": "Explain database indexes in three sentences."
      }
    ],
    "reasoning_effort": "low",
    "max_tokens": 2048
  }'

python -m pip install openai

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:8000/v1",
    api_key="EMPTY",
    timeout=300.0,
    max_retries=1,
)
response = client.chat.completions.create(
    model="kimi-local",
    messages=[{"role": "user", "content": "Write a Python function that removes duplicate filenames while preserving order."}],
    reasoning_effort="low",
    max_tokens=2048,
)
print(response.choices[0].message.content)
print(response.choices[0].finish_reason)

docker pull lmsysorg/sglang:dev-kimi-k31-pro
docker run --rm -it --gpus all \
  --shm-size 32g --ipc=host \
  -p 127.0.0.1:30000:30000 \
  -v /srv/models/Kimi-K3.1-Pro:/models/Kimi-K3.1-Pro:ro \
  lmsysorg/sglang:dev-kimi-k31-pro bash

curl http://127.0.0.1:30000/v1/models

MODEL_ID="replace-with-id-from-models-response"
curl http://127.0.0.1:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d "{\"model\":\"$MODEL_ID\",\"messages\":[{\"role\":\"user\",\"content\":\"Explain database indexes in three sentences.\"}],\"reasoning_effort\":\"low\",\"max_tokens\":2048}"

Benchmark và kết quả chính thức	Điểm mô hình	Vị trí trong tập so sánh đó
Terminal-Bench 4.0	65.7	Thứ hai
SWE Marathon v1.1	51.7	Thứ nhất
Program Bench	31.5	Thứ tư
OfficeQA Pro v2	64.4	Đứng đầu trong các kết quả đã báo cáo
Frontier Finance	58.6	Thứ hai

Triệu chứng	Kiểm tra đầu tiên
Không nhận diện kiến trúc mô hình	Phiên bản runtime, mã tùy chỉnh và cấu hình
Hết bộ nhớ khi tải	Dung lượng GPU, song song và tiến trình cạnh tranh
Yêu cầu ngắn hoạt động nhưng dài thất bại	Giới hạn ngữ cảnh, dung lượng cache và đồng thời
Không thể parse lệnh gọi công cụ	Thiết lập parser và schema công cụ
Tác tử dừng sau khi yêu cầu một công cụ	Thực thi ứng dụng và xử lý kết quả công cụ
Trả lời nhiều lượt trở nên không nhất quán	Thiếu các trường của tin nhắn assistant

Yếu tố chi phí hoặc vận hành	Tự lưu trữ	Kimi API chính thức / CometAPI
Chi phí công suất	Mua hoặc thuê GPU, bao gồm thời gian rảnh	Tính phí sử dụng API; kiểm tra mức giá hiện tại
Lưu trữ và mạng	Lưu trữ checkpoint, cache và phí mạng	Bất kỳ lưu trữ và phí mạng phía ứng dụng
Vận hành	Triển khai, giám sát, nâng cấp và khôi phục	Tích hợp, quản lý hạn ngạch và giám sát yêu cầu
Thử lại	Tính thời gian GPU của chúng vào chi phí tính toán	Tính token hoặc cuộc gọi của chúng vào phí API
Rà soát của con người	Tính thời gian chỉnh sửa với cùng mức	Tính thời gian chỉnh sửa với cùng mức
Phù hợp nhất	Nhu cầu ổn định và kiểm soát hạ tầng	Đánh giá và nhu cầu biến động

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["MOONSHOT_API_KEY"],
    base_url="https://api.moonshot.ai/v1",
)
response = client.chat.completions.create(
    model="kimi-k3.1-pro",
    messages=[{"role": "user", "content": "Explain database indexes in three sentences."}],
    reasoning_effort="low",
    max_completion_tokens=2048,
)
print(response.choices[0].message.content)

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["COMETAPI_API_KEY"],
    base_url="https://api.cometapi.com/v1",
)
response = client.chat.completions.create(
    model="kimi-k3.1-pro",
    messages=[{"role": "user", "content": "Explain database indexes in three sentences."}],
    max_tokens=2048,
)
print(response.choices[0].message.content)

Cách triển khai Kimi K3.1 Pro cục bộ: Yêu cầu phần cứng, thiết lập vLLM - CometAPI

Kimi K3.1 Pro

Kimi K3.1 Pro

Đọc thêm

Cách triển khai Kimi K3.1 Pro cục bộ: Yêu cầu phần cứng, thiết lập vLLM

Thực hiện API call đầu tiên.

Kết nối bài viết này với quyết định tiếp theo.

Kimi K3.1 Pro là gì?

Cần phần cứng gì để chạy Kimi K3.1 Pro cục bộ?

Cách triển khai Kimi K3.1 Pro

1. Kiểm tra khả năng nhìn thấy GPU, lưu trữ và kết nối

2. Chuẩn bị môi trường phục vụ

3. Tải xuống đầy đủ checkpoint

4. Khởi chạy vLLM server

5. Xác minh endpoint cục bộ

6. Kết nối ứng dụng Python cục bộ

Lựa chọn SGLang

Kimi K3.1 Pro hoạt động thế nào trên các benchmark?

Bạn có thể tối ưu suy luận cục bộ Kimi K3.1 Pro như thế nào?

Kiểm soát độ dài ngữ cảnh và mức độ đồng thời

Lựa chọn mức độ suy luận và thiết lập cache có chủ đích

Vì sao gọi công cụ của Kimi K3.1 Pro có thể thất bại sau triển khai?

Nên tự lưu trữ hay dùng API được lưu trữ?

Thử endpoint được lưu trữ mà không tải trọng số

Kết luận

Câu hỏi thường gặp (FAQ)

Một laptop thông thường có chạy đầy đủ mô hình không?

Cài đặt ứng dụng desktop có tính là triển khai cục bộ không?

Tại sao mô hình cần nhiều bộ nhớ nếu chỉ 104B tham số hoạt động?

Tôi có thể bật ngay ngữ cảnh một triệu token không?

Triển khai cục bộ có tái tạo điểm benchmark đã công bố không?

Tôi có nên thử qua API trước khi mua phần cứng không?