Cách chạy DeepSeek V4 trên máy cục bộ

TR

Cách thực tế để chạy DeepSeek V4 cục bộ là sử dụng trọng số mã nguồn mở chính thức cùng một ngăn xếp phục vụ hiệu năng cao như vLLM, rồi phơi bày model qua một endpoint địa phương tương thích OpenAI. Tài liệu công khai hiện tại của DeepSeek mô tả hai model trong họ V4: DeepSeek-V4-Pro với 1.6T tổng tham số / 49B kích hoạt, và DeepSeek-V4-Flash với 284B tổng tham số / 13B kích hoạt, cả hai đều có ngữ cảnh 1M token và ba chế độ suy luận. Ví dụ triển khai cục bộ hiện tại của vLLM nhắm tới 8× B200/B300 cho Pro và 4× B200/B300 cho Flash. Nếu bạn không có loại phần cứng đó, một dịch vụ lưu trú như CometAPI là lối đi thực tế hơn.

DeepSeek AI đã tạo cú sốc vào ngày 24 tháng 4 năm 2026 với bản xem trước của DeepSeek-V4, gồm hai model Mixture-of-Experts (MoE) mạnh mẽ: DeepSeek-V4-Pro (1.6T tổng tham số, 49B kích hoạt) và DeepSeek-V4-Flash (284B tổng, 13B kích hoạt). Cả hai hỗ trợ cửa sổ ngữ cảnh gốc 1 triệu token — thay đổi cuộc chơi cho phân tích tài liệu dài, quy trình agent, lập trình trên codebase khổng lồ và RAG ở quy mô lớn.

Được huấn luyện trên hơn 32 nghìn tỷ token với các đổi mới kiến trúc như Compressed Sparse Attention (CSA) lai + Heavily Compressed Attention (HCA), manifold-constrained hyper-connections (mHC) và xử lý bộ nhớ hiệu quả, V4 đạt mức giảm tới 73% FLOPs suy luận mỗi token và giảm 90% dấu vết KV cache cho ngữ cảnh 1M so với V3.2. Hiệu năng sánh ngang các model đóng nguồn hàng đầu trong khi vẫn là open-weights (giấy phép MIT) và cực kỳ tiết kiệm chi phí qua API.

Chạy các model này cục bộ mang lại quyền riêng tư vượt trội, không chi phí API định kỳ (ngoài phần cứng), khả năng ngoại tuyến và tùy biến hoàn toàn. Tuy nhiên, quy mô của chúng mang đến thách thức: trọng số đầy đủ của V4-Pro vượt 800GB tải xuống, và suy luận đòi hỏi phần cứng đáng kể hoặc lượng tử hóa mạnh tay.

DeepSeek V4 thật sự có thể chạy cục bộ không?

Có, nhưng “cục bộ” ở đây khác rất nhiều so với việc chạy một model 7B trên laptop. Tài liệu của chính DeepSeek và bài viết hỗ trợ vLLM chỉ ra các hệ thống nhiều GPU lớn: V4-Pro là model 1.6T tham số với 49B tham số kích hoạt, còn V4-Flash là 284B tổng / 13B kích hoạt. Ví dụ triển khai chính thức từ vLLM được viết cho 8× B200/B300 trên Pro và 4× B200/B300 trên Flash. Đó là tín hiệu thực tế rõ ràng rằng DeepSeek V4 dành cho triển khai cục bộ cấp doanh nghiệp, không phải thử nghiệm trên desktop.

Có lý do cho quy mô đó. DeepSeek cho biết V4 hỗ trợ cửa sổ ngữ cảnh 1M token, và báo cáo kỹ thuật nêu rằng V4-Pro chỉ sử dụng 27% FLOPs suy luận mỗi token và 10% KV cache so với DeepSeek-V3.2 ở ngữ cảnh 1M. vLLM giải thích thêm rằng, với bf16 KV cache, DeepSeek V4 dùng 9.62 GiB KV cache mỗi chuỗi ở ngữ cảnh 1M, nhỏ hơn khoảng 8.7× so với ước tính 83.9 GiB cho một ngăn xếp kiểu DeepSeek-V3.2 tương đương. Nói cách khác, V4 hiệu quả hơn nhiều so với các thế hệ trước, nhưng một triệu token vẫn là một bài toán hệ thống khổng lồ.

Bảng so sánh kiến trúc: DeepSeek V4 vs V3 và đối thủ

Thiết kế MoE của V4 chỉ kích hoạt một phần tham số mỗi token, giữ mức tính toán gần một model dense 13B-49B trong khi vẫn hưởng lợi từ tri thức của mạng lớn hơn nhiều.

Nên dùng model DeepSeek V4 nào?

Với hầu hết triển khai cục bộ, DeepSeek-V4-Flash là điểm khởi đầu tốt hơn. V4-Flash mang lại suy luận tiệm cận Pro trên các tác vụ agent đơn giản, đồng thời nhanh hơn và kinh tế hơn.

Dùng DeepSeek-V4-Pro khi bạn ưu tiên năng lực tuyệt đối hơn hiệu quả. Pro mạnh hơn cho suy luận khó, lập trình và tác vụ agent. Bảng điểm chuẩn cho thấy lý do: trên so sánh chính thức, V4-Pro-Base đạt 90.1 MMLU, 76.8 HumanEval và 51.5 LongBench-V2, trong khi V4-Flash-Base lần lượt đạt 88.7, 69.5 và 44.7. Cả hai đều mạnh; Pro chỉ đơn giản là đẩy cao hơn khi bạn cần kết quả tốt nhất có thể.

Đọc đơn giản bảng là đủ cho hoạch định sản phẩm. Flash không phải model bị cắt gọt; nó là trợ lý ngữ cảnh dài nghiêm túc với chi phí thấp hơn. Pro là model nên thử đầu tiên khi bài toán khó, có trạng thái, hoặc gần với quy trình tri thức sản xuất.

Ngăn xếp cục bộ khuyến nghị

1) vLLM cho phục vụ kiểu sản xuất

Lựa chọn chính thức mạnh nhất hiện nay là vLLM. Nhóm vLLM cho biết họ đã hỗ trợ họ DeepSeek V4 và cung cấp lệnh khởi chạy node đơn cụ thể cho cả hai model. Bài viết của họ đóng khung V4 như một họ model ngữ cảnh dài thiết kế cho tác vụ lên tới một triệu token và mô tả công việc triển khai cần thiết cho hybrid KV cache, hợp nhất kernel và phục vụ phân tách.

Với V4-Pro, ví dụ của vLLM nhắm tới 8× B200 hoặc 8× B300. Với V4-Flash, ví dụ nhắm tới 4× B200 hoặc 4× B300. Các lệnh cũng dùng --kv-cache-dtype fp8, --block-size 256, --enable-expert-parallel, và các cờ phân tích đặc thù DeepSeek như --tokenizer-mode deepseek_v4, --tool-call-parser deepseek_v4, và --reasoning-parser deepseek_v4. Tổ hợp này là gợi ý rất mạnh về cách DeepSeek kỳ vọng việc tự lưu trữ nghiêm túc sẽ được thực hiện.

# DeepSeek-V4-Flash on a supported multi-GPU hostdocker run --gpus all \  --ipc=host -p 8000:8000 \  -v ~/.cache/huggingface:/root/.cache/huggingface \  vllm/vllm-openai:deepseekv4-cu130 deepseek-ai/DeepSeek-V4-Flash \  --trust-remote-code \  --kv-cache-dtype fp8 \  --block-size 256 \  --enable-expert-parallel \  --data-parallel-size 4 \  --compilation-config '{"cudagraph_mode":"FULL_AND_PIECEWISE", "custom_ops":["all"]}' \  --attention_config.use_fp4_indexer_cache=True \  --tokenizer-mode deepseek_v4 \  --tool-call-parser deepseek_v4 \  --enable-auto-tool-choice \  --reasoning-parser deepseek_v4

Để chuyển sang V4-Pro, giữ nguyên mẫu và đổi model thành deepseek-ai/DeepSeek-V4-Pro, với data-parallel size theo ví dụ Pro trong bài đăng của vLLM. Đó là cách đơn giản nhất để bắt đầu thử nghiệm cục bộ mà không phải tự xây ngăn xếp phục vụ.

2) Trình trợ giúp suy luận trong repository của DeepSeek

Deepseek V4 không bao gồm chat template định dạng Jinja. Thay vào đó, nó cung cấp thư mục encoding với các script Python và test case để chuyển đổi thông điệp kiểu OpenAI thành chuỗi đầu vào model và phân tích đầu ra. Cùng trang đó nói tham khảo thư mục inference cho chi tiết triển khai cục bộ, gồm chuyển đổi trọng số và demo chat tương tác. Điều này hữu ích nếu bạn muốn xây front-end tùy chỉnh hoặc kiểm soát chặt chẽ định dạng prompt.

3) CometAPI như kế hoạch dự phòng thực tế

Nếu bạn không có phần cứng hạng B200/B300, con đường lưu trú là lựa chọn sáng suốt. CometAPI cho biết họ cung cấp một API key cho mọi thứ, truy cập 500+ model AI, và mức giá rẻ hơn 20–40% so với mức chính thức của nhà cung cấp. Họ cũng công bố các trang dành riêng cho DeepSeek V4, gồm DeepSeek-V4-Pro và DeepSeek-V4-Flash, với ví dụ tích hợp tương thích OpenAI.

Từng bước: Cách chạy DeepSeek V4 cục bộ

1. Điều kiện tiên quyết

• Hệ điều hành: Ưu tiên Linux (Ubuntu 22.04/24.04) để hỗ trợ CUDA/ROCm tốt nhất. Windows qua WSL2 hoặc native. macOS với Metal (giới hạn cho model lớn nhất).
• Trình điều khiển: NVIDIA CUDA 12.4+ (hoặc mới nhất). AMD ROCm cho card Radeon.
• Python 3.11+, Git, và đủ dung lượng đĩa.
• Tài khoản Hugging Face cho model bị kiểm soát (nếu áp dụng): huggingface-cli login.

2. Cách dễ nhất: Ollama hoặc LM Studio (thân thiện người mới)

Ollama mang lại trải nghiệm CLI và WebUI đơn giản nhất. Tính đến cuối tháng 4/2026, hỗ trợ V4 đầy đủ có thể cần Modelfile tùy chỉnh hoặc tag cộng đồng, nhưng các phiên bản lượng tử V4-Flash đang xuất hiện nhanh chóng.

Cài đặt Ollama (Linux/macOS):

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

Chạy model tương thích (bắt đầu với model nhỏ hơn hoặc kiểm tra tag V4):

ollama pull deepseek-v4-flash:q4_0   # Example quantized tag; check ollama.com/library or community
ollama run deepseek-v4-flash:q4_0

Với tùy chỉnh: Tạo một Modelfile(text):

FROM ./DeepSeek-V4-Flash-GGUF-Q4.gguf
TEMPLATE """{{ .Prompt }}"""
PARAMETER num_ctx 32768  # Start conservative; increase as hardware allows up to 1M with sufficient RAM/VRAM

Sau đó chạy: ollama create my-v4-flash -f Modelfile.

LM Studio: Lựa chọn GUI. Tải từ lmstudio.ai, tìm/duyệt trên HF các lượng tử GGUF của DeepSeek-V4 (kiểu TheBloke hoặc chính thức), tải và chat. Tuyệt vời để thử nghiệm với thanh trượt ngữ cảnh và offload GPU.

Open WebUI: Lớp phủ trên Ollama cho giao diện giống ChatGPT (Bash):

docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Truy cập tại http://localhost:8080.

3. Nâng cao: Hugging Face + vLLM hoặc SGLang (hiệu năng cao)

Để có tốc độ tối đa và hỗ trợ ngữ cảnh 1M, dùng vLLM (hỗ trợ MoE và PagedAttention rất tốt):

Bước 1: Chuẩn bị môi trường

Bắt đầu bằng cách cài đặt ngăn xếp vLLM hiện tại và đảm bảo CUDA, trình điều khiển, và topo GPU của bạn khớp với model bạn muốn chạy. recommending temperature = 1.0 and top_p = 1.0 for local deployment, and for Think Max it recommends a context window of at least 384K tokens. Điều đó là điểm khởi đầu hữu ích dù bạn xây ứng dụng chat, trợ lý lập trình hoặc workflow agent.

Cài đặt:

Bash
pip install -U "vllm>=0.9.0"  # Check latest for V4 compatibility

Tải model (dùng CLI cho tệp lớn):

Bash
pip install -U "huggingface_hub[cli]"
huggingface-cli download deepseek-ai/DeepSeek-V4-Flash --local-dir ./DeepSeek-V4-Flash

Phục vụ với vLLM (ví dụ cho Flash trên 2 GPU):

Bước 2: Khởi chạy máy chủ model

Khi container đã sẵn sàng, hãy phơi bày model như một endpoint địa phương tương thích OpenAI. Điều đó giúp tái sử dụng code ứng dụng hiện có và hoán đổi backend mà không đổi kiến trúc ứng dụng.

Phục vụ với vLLM (ví dụ cho Flash trên 2 GPU):

Python
from vllm import LLM, SamplingParams

llm = LLM(
    model="deepseek-ai/DeepSeek-V4-Flash",
    tensor_parallel_size=2,      # Adjust to your GPU count
    max_model_len=1048576,       # 1M context (hardware permitting)
    dtype="auto",                # or "fp8" / "bfloat16"
    quantization="gptq" if using quantized weights else None,
    gpu_memory_utilization=0.9
)

sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=4096)

outputs = llm.generate(["Explain the architecture of DeepSeek V4 in detail."], sampling_params)
for output in outputs:
    print(output.outputs[0].text)

Ở chế độ server (API tương thích OpenAI):

Bash
vllm serve deepseek-ai/DeepSeek-V4-Flash \
  --tensor-parallel-size 2 \
  --max-model-len 1048576 \
  --port 8000

Sau đó truy vấn qua client OpenAI bằng cách đặt base_url="http://localhost:8000/v1".

SGLang là lựa chọn thay thế với khả năng hiệu năng ngữ cảnh dài tốt hơn:

Bash
pip install "sglang[all]>=0.4.0"
python -m sglang.launch_server --model-path deepseek-ai/DeepSeek-V4-Flash --port 30000

Bước 3: Gửi truy vấn đến endpoint địa phương từ Python

from openai import OpenAI
# Adjust the base URL if your vLLM server is bound differently.

client = OpenAI(
base_url="http://localhost:8000/v1",
api_key="EMPTY",
)

response = client.chat.completions.create(
model="deepseek-ai/DeepSeek-V4-Flash",
messages=[
{"role": "system", "content": "You are a precise, technical assistant."},
{"role": "user", "content": "Explain the difference between V4-Pro and V4-Flash."},
],
temperature=1.0,
top_p=1.0,
)

print(response.choices[0].message.content)

Kỳ vọng hiệu năng và mẹo tối ưu

• Token/giây: Trên RTX 4090 với Q4 Flash: 15–40+ t/s ở ngữ cảnh 8K–32K (phụ thuộc triển khai). Giảm ở 128K+ do attention/KV nhưng hiệu quả của V4 giúp cải thiện. Nhiều GPU mở rộng tốt với tensor/pipeline parallelism.
• Tối ưu:
• Dùng FlashAttention-3 hoặc PagedAttention của vLLM.
• Giải mã suy đoán (speculative decoding) cho tăng tốc 1.5–2×.
• Tỉa ngữ cảnh hoặc kỹ thuật nén ngữ cảnh.
• Giám sát bằng nvidia-smi; tận dụng gpu_memory_utilization.
• Với CPU: llama.cpp với --n-gpu-layers -1 (offload toàn bộ nếu có thể) hoặc thuần CPU với RAM cao.

Đánh giá băng thông của bạn bằng công cụ như llama-bench hoặc script bấm giờ đơn giản. Thông lượng thực tế phụ thuộc độ dài prompt, độ dài sinh và phần cứng.

Thách thức và hạn chế của triển khai V4 cục bộ

• Đòi hỏi tài nguyên: Ngay cả Flash cũng cần phần cứng khá để tốc độ thoải mái ở ngữ cảnh dài.
• Đánh đổi lượng tử hóa: Bit thấp có thể giảm chất lượng suy luận, đặc biệt ở tác vụ phức tạp — hãy thẩm định với benchmark như SWE-Bench, MMLU, hoặc đánh giá theo miền của bạn.
• Độ chín phần mềm: Là bản xem trước mới (tháng 4/2026), hỗ trợ tối ưu đầy đủ ở mọi backend đang dần hoàn thiện. Kiểm tra issue GitHub cho vLLM, llama.cpp và HF.
• Tải xuống/Lưu trữ: Model cỡ terabyte cần internet nhanh và lưu trữ lớn.
• Điện năng & nhiệt: Thiết lập cao cấp tiêu thụ điện đáng kể.

Với nhiều người dùng, cách tiếp cận lai hiệu quả nhất: Chạy tác vụ nhỏ cục bộ, đẩy suy luận 1M ngữ cảnh lên cloud khi cần.

Khi cục bộ là chưa đủ: Tích hợp liền mạch với CometAPI

Với nhiều đội ngũ, bước đi khôn ngoan là không ép triển khai cục bộ. Dù triển khai cục bộ vượt trội về quyền riêng tư và kiểm soát, mở rộng lên sản xuất, xử lý tải đỉnh hoặc truy cập hiệu năng không lượng tử hóa đầy đủ mà không đầu tư phần cứng khổng lồ thường nghiêng về một API tin cậy.

CometAPI cung cấp cổng thống nhất, tương thích OpenAI cho các model DeepSeek — gồm Deeppseek V4 — cùng hàng chục LLM hàng đầu khác (Claude, GPT, Llama, Qwen, Grok, v.v.).

Khi nào API vượt triển khai cục bộ

Các model Deepseek V4 hiện có qua endpoint kiểu OpenAI và kiểu Anthropic, với base URL ổn định trong khi tên model thay đổi. Tài liệu cũng nói tên model deepseek-chat và deepseek-reasoner sẽ dần bị loại bỏ và ánh xạ sang hành vi V4-Flash trong giai đoạn chuyển tiếp.

Điều đó quan trọng vì triển khai cục bộ mang chi phí vận hành. Nếu workload không nhạy cảm với nơi lưu trữ dữ liệu hoặc đội ngũ muốn tăng tốc giá trị, con đường API thường là lựa chọn hợp lý. V4-Flash ở mức $0.14 cho mỗi 1M token đầu vào khi cache miss, $0.0028 mỗi 1M token đầu vào khi cache hit, và $0.28 mỗi 1M token đầu ra. Cùng trang cho biết V4-Pro hiện đang giảm 75% tới ngày 31/05/2026, ở mức $0.435 mỗi 1M token đầu vào khi cache miss và $0.87 mỗi 1M token đầu ra.

Lựa chọn tốt nhất thay Deepseek: CometAPI nằm ở đâu

CometAPI hữu ích khi mục tiêu không chỉ gọi DeepSeek V4 một lần, mà là xây cả ngăn xếp có thể đổi model nhanh chóng. CometAPI nói rằng họ cung cấp một API key cho 500+ model, API tương thích OpenAI, phân tích sử dụng, và giá thấp hơn mức chính thức. Họ cũng định vị mình như cách để tránh khóa nhà cung cấp và quản lý chi tiêu giữa nhiều provider.

Điều đó làm CometAPI trở thành khuyến nghị mạnh cho các đội đang đánh giá V4-Pro so với V4-Flash, hoặc so sánh DeepSeek với các model tuyến đầu khác trong cùng ứng dụng. Thay vì nối tích hợp mới mỗi lần đổi model, ứng dụng có thể giữ client kiểu OpenAI ổn định và chỉ đổi giá trị model và base URL. Hướng dẫn V4 của CometAPI cho thấy chính xác mẫu đó.

Khởi động nhanh với CometAPI cho DeepSeek V4:

• Dùng OpenAI SDK:
• Đăng ký/đăng nhập tại CometAPI.com.
• Tạo API key trong console.

Đây là phiên bản lưu trú theo cùng mẫu tích hợp:

from openai import OpenAIclient = OpenAI(    base_url="https://api.cometapi.com",    api_key="YOUR_COMETAPI_KEY",)response = client.chat.completions.create(    model="deepseek-v4-pro",    messages=[        {"role": "system", "content": "You are a senior coding assistant."},        {"role": "user", "content": "Review this architecture for bottlenecks."}    ],    stream=False,    extra_body={        "thinking": {"type": "enabled"},        "reasoning_effort": "high"    })print(response.choices[0].message.content)

Giá trị của lộ trình này là vận hành, không phải tu từ. Nó loại bỏ công việc hạ tầng, giữ client code khả chuyển, và trao cho đội một nơi theo dõi chi phí, độ trễ và khối lượng gọi giữa nhiều model. CometAPI cũng nói họ theo dõi chi tiêu, độ trễ và số lượng cuộc gọi — hữu ích khi nguyên mẫu chuyển thành workload sản xuất.

Khi nào chọn cục bộ, API, hoặc CometAPI

Con đường cục bộ hợp lý khi kiểm soát quan trọng hơn tiện lợi. Con đường API hợp lý khi tốc độ và đơn giản quan trọng hơn quyền sở hữu. CometAPI là lớp trung gian khi đội muốn tính khả chuyển và kỷ luật chi phí mà không phải xây lại tích hợp mỗi lần đổi model.

FAQ

DeepSeek V4 có chạy trên laptop được không?

Không theo nghĩa thực tế mà các hướng dẫn suy luận cục bộ ám chỉ. Tài liệu chính thức hướng tới triển khai nhiều GPU và nhiều node, và kích cỡ model vượt xa ngân sách bộ nhớ người dùng thông thường. Laptop phù hợp để truy cập API, nhưng không phù hợp để tự lưu trữ V4-Pro hay thậm chí V4-Flash ở mức thoải mái.

Model nào tốt hơn: V4-Pro hay V4-Flash?

V4-Pro mạnh hơn cho suy luận, lập trình và nghiên cứu. V4-Flash là mặc định tốt hơn cho tốc độ, thông lượng và chi phí thấp. Bản phát hành chính thức và bảng điểm chuẩn đều chỉ về cùng kết luận.

CometAPI có bắt buộc trong triển khai cục bộ không?

Không. Đó là lớp sản xuất tùy chọn. API của chính DeepSeek hoạt động trực tiếp, và tự lưu trữ cục bộ khả thi qua quy trình suy luận chính thức. CometAPI trở nên hấp dẫn khi bạn muốn một đường code cho nhiều nhà cung cấp model, theo dõi chi phí và chuyển đổi dễ hơn giữa các họ model.

Kết luận

DeepSeek V4 không chỉ là một bản phát hành model khác. Đó là hệ thống tập trung ngữ cảnh dài, agent với open weights, truy cập API chính thức và tách bạch rõ giữa model suy luận cao cấp và model thông lượng chi phí thấp. Tin tức chính thức mới nhất quan trọng vì nó thay đổi cây quyết định: triển khai cục bộ là khả thi nhưng chỉ cho đội có hạ tầng GPU nghiêm túc; truy cập API có sẵn ngay; và CometAPI là khuyến nghị hợp lý khi tính khả chuyển và kỷ luật chi phí quan trọng hơn việc sở hữu ngăn xếp suy luận.

Nếu workload phức tạp và phần cứng sẵn có, hãy bắt đầu với V4-Pro. Nếu workload hướng về khối lượng, hãy bắt đầu với V4-Flash. Nếu mục tiêu là triển khai nhanh và giữ lựa chọn model mở, hãy dùng lớp API và giữ code của bạn khả chuyển. Đó là chiến lược sản xuất đáng tin nhất hiện tại.

Các bước hành động cụ thể:

1. Đánh giá phần cứng của bạn và bắt đầu với V4-Flash đã lượng tử qua Ollama hoặc LM Studio.
2. Thử nghiệm với các ví dụ code ở trên và benchmark theo workload của bạn.
3. Khám phá lượng tử GGUF và tối ưu của cộng đồng khi chúng trưởng thành sau phát hành.
4. Với sản xuất hoặc tác vụ nặng, tích hợp CometAPI để truy cập đáng tin cậy, tiết kiệm vào V4-Pro/Flash đầy đủ mà không phải quản lý phần cứng.