Cách chạy GLM-5.3-Flash cục bộ

TL;DR

Bạn có thể chạy GLM-5.3-Flash tại chỗ vì Z.ai đã phát hành trọng số theo giấy phép MIT. Điểm mấu chốt là bộ nhớ: mô hình có tổng khoảng 320B tham số, dù chỉ 18B tham số được kích hoạt trên mỗi token. Trọng số FP8 gốc vào khoảng 306 GiB trước phần overhead của runtime và KV-cache, trong khi các lượng tử hóa GGUF phổ biến dao động từ khoảng 93 GB ở 1-bit đến 200 GB ở Q4 và 341 GB ở Q8.

Đối với phục vụ GPU sản xuất, vLLM hoặc SGLang là con đường trực tiếp nhất. Với máy trạm RAM lớn có một hoặc vài GPU tiêu dùng, KTransformers được thiết kế cho suy luận dị thể CPU-GPU. Cho thử nghiệm cục bộ dễ nhất, dùng bản GGUF với llama.cpp hoặc Ollama. Một GPU 24 GB hoặc 32 GB thông thường không thể chứa toàn bộ mô hình; dùng đơn GPU tại chỗ phụ thuộc vào RAM hệ thống, offload và/hoặc lượng tử hóa.

What Is GLM-5.3-Flash?

Để xem tổng quan mô hình đầy đủ và diễn giải benchmark, tham khảo bài What Is GLM-5.3-Flash? của CometAPI. Hướng dẫn triển khai này chỉ giữ các thông số kích thước cần thiết: GLM-5.3-Flash là MoE đa phương thức 320B / 18B được huấn luyện trên kho 30T token.

Kho lưu trữ chính thức liệt kê cửa sổ ngữ cảnh 1.048.576 token, trọng số theo giấy phép MIT và các lộ trình phục vụ cục bộ được hỗ trợ. Bảng dưới là tham chiếu triển khai; phần còn lại tập trung vào cài đặt, bộ nhớ, xác minh và xử lý sự cố.

Vì sao GLM-5.3-Flash hiệu quả hơn so với kích thước bề ngoài

Một mô hình 320B nghe như một mô hình dense 320B truyền thống, nhưng đó không phải cách GLM-5.3-Flash phân bổ tính toán. Bộ định tuyến MoE chỉ kích hoạt một phần năng lực chuyên gia cho mỗi token, trong khi thiết kế lại attention giảm chi phí lưu giữ và truy xuất trạng thái ngữ cảnh dài.

Z.ai báo cáo giảm tính toán attention và sử dụng KV-cache so với GLM-5.3. Điều này quan trọng vì KV cache tăng theo độ dài ngữ cảnh và đồng thời; một mô hình tải thành công ở ngữ cảnh 8K vẫn có thể hết bộ nhớ khi bạn yêu cầu phục vụ hội thoại dài hơn nhiều.

Nguồn: Thông báo chính thức của Z.ai

GLM-5.3-Flash tốt đến mức nào?

Bảng dưới giữ các điểm số phía nhà phát triển liên quan nhất cho triển khai. Z.ai báo cáo điểm benchmark cao hơn cho GLM-5.3-Flash so với GLM-5.2; xem tổng quan mô hình của CometAPI để diễn giải đầy đủ. Ở đây, điều cần rút ra là liệu mức tăng có đáng với chi phí phần cứng và vận hành cục bộ hay không.

Mẫu hình đặc biệt phù hợp với tự lưu trữ: các trường hợp sử dụng mạnh nhất của mô hình không phải chat thông thường mà là agent lập trình, tự động hóa dựa trên công cụ, tài liệu ngữ cảnh dài và quy trình đa phương thức nơi cư trú dữ liệu hoặc kiểm soát hạ tầng có thể biện minh cho nỗ lực triển khai.

GLM-5.3-Flash cần bao nhiêu RAM hoặc VRAM?

Lập kế hoạch bộ nhớ là phần quan trọng nhất của hướng dẫn này. Công thức vLLM chính thức nêu checkpoint FP8 gốc khoảng 306 GiB trọng số FP8. Do đó KTransformers khuyến nghị dành ít nhất 350 GB bộ nhớ hệ thống khả dụng cho đường suy luận CPU-GPU FP8 gốc.

Nếu dùng GGUF, Unsloth cung cấp các lượng tử hóa từ 1-bit đến BF16. Kích thước tệp không giống tổng bộ nhớ lúc runtime: bạn vẫn cần phần trống cho runtime, siêu dữ liệu mô hình, bộ đệm tính toán, thành phần đa phương thức và KV cache.

Cột thứ ba là hướng dẫn lập kế hoạch triển khai, không phải thông số phần cứng tối thiểu chính thức. Khả năng phù hợp thực tế phụ thuộc vào độ dài ngữ cảnh, kích thước batch, runtime, offload GPU và cách lượng tử hóa.

Nên dùng runtime cục bộ nào?

Chọn vLLM khi thông lượng và tương thích hệ sinh thái là quan trọng nhất. Chọn SGLang khi bạn muốn benchmark phục vụ agent, đầu ra có cấu trúc hoặc đa phương thức. Chọn KTransformers khi mô hình không thể vừa VRAM nhưng bạn có hàng trăm GB RAM hệ thống. Chọn llama.cpp hoặc Ollama khi ưu tiên lượng tử hóa GGUF và sự dễ dàng thử nghiệm cục bộ hơn so với khớp checkpoint gốc.

Cách chạy GLM-5.3-Flash với trọng số gốc

Chạy với vLLM

vLLM là lựa chọn định hướng sản xuất rõ ràng nhất nếu bạn có tăng tốc phần cứng cấp máy chủ. Công thức chính thức hiện tại hỗ trợ nhiều chiến lược song song hóa và mô tả phục vụ FP8 gốc. Xem các cấu hình đã công bố như thiết lập tham chiếu, không phải đảm bảo rằng mọi tổ hợp GPU đều hoạt động với cùng bộ cờ.

Bước 1: Chuẩn bị môi trường

Dùng Linux với stack NVIDIA được hỗ trợ, đủ tổng VRAM GPU cho checkpoint cộng overhead runtime, và bản vLLM mới hoặc container được khuyến nghị bởi công thức hiện tại. Bắt đầu với cửa sổ ngữ cảnh nhỏ hơn khi xác thực triển khai thay vì phân bổ ngay cửa sổ một triệu token.

Bước 2: Khởi động server

pip install vllm

vllm serve "zai-org/GLM-5.3-Flash" \
  --tensor-parallel-size 8 \
  --served-model-name zai-org/GLM-5.3-Flash

Đối với triển khai nâng cao, công thức vLLM chính thức ghi lại KV cache FP8 trên hệ Blackwell được hỗ trợ, MTP speculative decoding, phân tích tool-call, phân tích reasoning, và tách prefill/decode. Kiểm tra công thức vLLM hiện tại trước khi đưa cờ vào sản xuất vì hỗ trợ có thể thay đổi nhanh.

Bước 3: Kiểm thử endpoint tương thích OpenAI

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "zai-org/GLM-5.3-Flash",
    "messages": [
      {"role": "user", "content": "Trả lời bằng OK"}
    ]
  }'

Chạy với SGLang

SGLang là một lộ trình phục vụ hạng nhất khác được liệt kê trong thẻ mô hình chính thức. Đặc biệt đáng thử cho agent đồng thời cao, sinh có cấu trúc, yêu cầu đa phương thức và ứng dụng nặng công cụ.

Bước 1: Cài đặt SGLang

pip install sglang

Bước 2: Khởi chạy server mô hình

python3 -m sglang.launch_server \
  --model-path "zai-org/GLM-5.3-Flash" \
  --host 0.0.0.0 \
  --port 30000

Bước 3: Xác minh endpoint

curl -X POST "http://localhost:30000/v1/chat/completions" \
  -H "Content-Type: application/json" \
  --data '{
    "model": "zai-org/GLM-5.3-Flash",
    "messages": [{"role": "user", "content": "Hãy đưa ra ba kiểm tra triển khai cục bộ."}]
  }'

Thẻ mô hình trên Hugging Face cũng cung cấp ví dụ yêu cầu đa phương thức cho SGLang. Nếu cần tool calling, hãy dùng cờ parser được khuyến nghị bởi công thức SGLang hiện tại thay vì giả định cờ từ bản GLM cũ vẫn không đổi.

Chạy với KTransformers

KTransformers là lựa chọn quan trọng nhất cho người dùng hiểu “cục bộ” là máy trạm chứ không phải server tám GPU. Triển khai GLM-5.3-Flash của nó đọc trực tiếp trọng số FP8 chính thức và thực hiện suy luận chuyên gia dị thể CPU-GPU.

Hướng dẫn hiện tại cho biết mô hình FP8 chiếm khoảng 306 GiB và khuyên 350 GB bộ nhớ hệ thống. Hỗ trợ GPU NVIDIA SM89 và SM120, gồm RTX 40- và 50-series, cùng kernel chuyên gia CPU AVX-512 FP8. Hướng dẫn bao gồm cấu hình khởi chạy bốn GPU và đơn GPU.

Một RTX 4090 hoặc RTX 5090 đơn lẻ có thể tham gia suy luận, nhưng điều đó không biến GLM-5.3-Flash thành mô hình 24–32 GB. Phần lớn mô hình vẫn nằm ngoài VRAM GPU, vì vậy dung lượng và băng thông bộ nhớ hệ thống trở thành trung tâm hiệu năng.

Bước 1: Tạo môi trường Python sạch

conda create -n glm53flash python=3.11 -y
conda activate glm53flash

Bước 2: Cài đặt KTransformers

pip install "ktransformers[sglang]"

Bước 3: Tải trọng số chính thức

Tải zai-org/GLM-5.3-Flash từ Hugging Face về lưu trữ cục bộ. Đảm bảo đủ dung lượng đĩa cho checkpoint và đủ RAM cho cấu hình server đang chạy.

Bước 4: Khởi chạy server đơn GPU

MODEL_PATH=/path/to/GLM-5.3-Flash

CUDA_VISIBLE_DEVICES=0 python -m sglang.launch_server \
  --model-path "$MODEL_PATH" \
  --kt-weight-path "$MODEL_PATH" \
  --served-model-name GLM-5.3-flash \
  --host 0.0.0.0 \
  --tp-size 1 \
  --context-length 501025 \
  --mem-fraction-static 0.65 \
  --chunked-prefill-size 2048 \
  --kt-method FP8 \
  --kt-cpuinfer 64 \
  --kt-threadpool-count 2 \
  --kt-num-gpu-experts 0 \
  --kt-gpu-prefill-token-threshold 2048 \
  --cuda-graph-bs 1 2 4 \
  --limit-mm-data-per-request '{"image":8,"video":1}' \
  --mm-process-config '{"image":{"max_pixels":1254400}}' \
  --tool-call-parser glm47 \
  --reasoning-parser glm45

Hướng dẫn dùng cấu hình 501.025 token đã được kiểm chứng dù mô hình hỗ trợ tới 1M ngữ cảnh. Đây là lời nhắc hữu ích: cấu hình ngữ cảnh bạn thực sự cần, không phải mức tối đa để quảng bá, vì khoảng trống ngữ cảnh có chi phí bộ nhớ trực tiếp.

Bước 5: Kiểm tra server

curl http://localhost:30000/v1/models

Endpoint chat tương thích OpenAI là văn bản thuần: http://localhost:30000/v1/chat/completions.

Cách chạy mô hình GGUF GLM-5.3-Flash đã lượng tử hóa

Chạy GLM-5.3-Flash với llama.cpp

Nếu bạn không muốn chạy checkpoint FP8 gốc, GGUF giúp mục tiêu bộ nhớ linh hoạt hơn. Unsloth công bố nhiều lượng tử hóa GLM-5.3-Flash GGUF và cung cấp lệnh llama.cpp trực tiếp. Bản Q4_K_XL khoảng 200 GB, nên ngay cả lộ trình “thân thiện người dùng” này vẫn giả định hệ thống bộ nhớ lớn.

Cài trên macOS hoặc Linux

curl -LsSf https://llama.app/install.sh | sh

Cài trên Windows

winget install llama.cpp

Khởi chạy server cục bộ với Q4_K_XL

llama serve -hf unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL

Chạy trực tiếp trong terminal

llama cli -hf unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL

Nếu máy của bạn không vừa Q4_K_XL, có các tệp 3-bit, 2-bit và 1-bit nhỏ hơn. Đừng chọn bit-width thấp nhất chỉ vì “vừa”: lượng tử hóa mạnh có thể làm thay đổi độ tin cậy suy luận, định dạng tool-call, chất lượng mã và hành vi đa phương thức. Hãy xác thực bản dựng cụ thể trên bộ kiểm thử của bạn.

Chạy GLM-5.3-Flash với Ollama

Ollama là con đường dòng lệnh ngắn nhất nếu bạn đã dùng nó cho mô hình cục bộ. Unsloth ghi lại tải trực tiếp từ Hugging Face cho các bản GGUF GLM-5.3-Flash.

ollama run hf.co/unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL

Sự tiện lợi của Ollama không thay đổi kích thước mô hình nền tảng. Q4_K_XL vẫn khoảng 200 GB, và các bản bit thấp hơn đánh đổi bộ nhớ lấy chất lượng. Nếu bạn chỉ có 32–64 GB RAM hệ thống, GLM-5.3-Flash không phải mục tiêu cục bộ hợp lý; hãy dùng mô hình nhỏ hơn hoặc API được lưu trữ.

Chọn lượng tử hóa GGUF

Chọn lượng tử hóa chất lượng cao nhất phù hợp kèm đủ phần trống cho runtime và KV-cache. Bắt đầu với Q4_K_XL khi bạn có khoảng 256 GB hoặc hơn bộ nhớ hệ thống; chỉ cân nhắc các bản bit thấp hơn khi phần cứng giới hạn buộc phải vậy, và hãy xác thực suy luận, sinh mã, tool-call và hành vi đa phương thức so với tham chiếu gốc hoặc lưu trữ trước khi triển khai.

Cách xác minh triển khai cục bộ của bạn

Log khởi động thành công là chưa đủ. Hãy kiểm thử các hành vi ứng dụng của bạn thực sự phụ thuộc vào. Trình tự chấp nhận hữu ích: sinh văn bản cơ bản, độ dài ngữ cảnh thực tế của bạn, tool calling với schema của bạn, đầu vào đa phương thức nếu cần, và thông lượng dưới mức đồng thời thực tế.

Kiểm thử khói cơ bản

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "zai-org/GLM-5.3-Flash",
    "messages": [
      {"role": "user", "content": "Trả về chính xác: LOCAL_OK"}
    ],
    "reasoning_effort": "low"
  }'

Thẻ mô hình định nghĩa các mức reasoning_effort và mặc định là max. Để tái lập benchmark, giữ max; với máy trạm chậm, low hoặc high có thể giúp thử nghiệm lặp lại thực tế hơn.

Sau đó thêm kiểm tra theo khối lượng công việc:

• Ngữ cảnh dài: gửi tài liệu hoặc prompt kích thước kho mã gần độ dài sản xuất dự định, không mặc định 1M.
• Tool calling: xác minh JSON tham số, chọn công cụ, khôi phục sau lỗi công cụ và lời gọi lặp.
• Đa phương thức: thử định dạng hình ảnh hoặc video và dải độ phân giải bạn sẽ dùng trong thực tế.
• Đồng thời: đo độ trễ và bộ nhớ khi nhiều yêu cầu hoạt động.
• Lượng tử hóa: so sánh cùng bộ prompt với tham chiếu gốc hoặc lưu trữ trước khi chấp thuận bản GGUF bit thấp.

Cách giảm sử dụng bộ nhớ của GLM-5.3-Flash

Dùng cửa sổ ngữ cảnh nhỏ hơn

Mô hình hỗ trợ tới 1M token, nhưng hầu hết quy trình cục bộ không cần nhiều ngữ cảnh như vậy cho mọi yêu cầu. Giảm mức tối đa cấu hình cho khớp với ứng dụng của bạn. Điều này giảm áp lực KV-cache và có thể biến một triển khai không ổn định thành dùng được.

Lượng tử hóa trọng số

Chuyển từ BF16 xuống Q8, Q6, Q4 hoặc GGUF bit thấp hơn có thể cắt giảm bộ nhớ trọng số đáng kể. Đánh đổi là chất lượng đầu ra và đôi khi khả năng tương thích runtime, nên hãy coi mức lượng tử hóa như một lựa chọn mô hình, không chỉ là tùy chọn lưu trữ.

Dùng CPU offload

KTransformers và llama.cpp có thể chuyển phần lớn trạng thái mô hình sang RAM hệ thống. Đây là lý do chính khiến suy luận GLM-5.3-Flash đơn GPU khả dĩ, nhưng nó cũng dịch chuyển nút thắt hiệu năng sang năng lực CPU và băng thông bộ nhớ.

Giảm độ đồng thời

Mỗi yêu cầu ngữ cảnh dài đồng thời tiêu tốn thêm cache và bộ đệm runtime. Triển khai trên máy trạm thường hoạt động tốt hơn với mục tiêu đồng thời nhỏ và hàng đợi rõ ràng thay vì song song kiểu máy chủ.

Cách cải thiện độ trễ tương tác

Với sử dụng cục bộ tương tác, hạ reasoning_effort có thể giảm độ dài lập luận sinh ra, độ trễ phản hồi và tiêu thụ token. Nó không giảm bộ nhớ cần để tải trọng số; chỉ có thể giảm sử dụng cache lúc yêu cầu gián tiếp bằng cách rút ngắn chuỗi sinh. Dùng low cho lặp nhanh, và chuyển sang high hoặc max khi tác vụ cần suy luận sâu hơn hoặc hành vi tương đương benchmark.

Nên chạy GLM-5.3-Flash cục bộ hay dùng API?

Tự lưu trữ hấp dẫn khi quyền riêng tư, cư trú dữ liệu, vận hành ngoại tuyến, thiết lập suy luận tùy chỉnh hoặc phần cứng rảnh sở hữu là quan trọng. Ít hấp dẫn hơn khi bạn cần truy cập mô hình thỉnh thoảng mà không muốn duy trì hàng trăm GB bộ nhớ và stack phục vụ phức tạp.

Nếu triển khai cục bộ không phải yêu cầu, bạn có thể truy cập GLM-5.3-Flash qua workflow chat-completions tương thích OpenAI với model ID glm-5.3-flash. Điều này hữu ích như endpoint tham chiếu để so sánh bản GGUF cục bộ của bạn với triển khai lưu trữ hoặc làm phương án dự phòng sản xuất trong khi bạn thử nghiệm tự lưu trữ.

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://api.cometapi.com/v1",
    api_key=os.environ["COMETAPI_KEY"],
)

response = client.chat.completions.create(
    model="glm-5.3-flash",
    messages=[{"role": "user", "content": "Trả lời bằng OK"}],
)

print(response.choices[0].message.content)

Common Problems When Running GLM-5.3-Flash Locally

Mô hình tải xong rồi crash với prompt dài

Thường nghĩa là bạn đã ước tính cho trọng số nhưng không cho KV cache. Giảm độ dài ngữ cảnh và độ đồng thời, sau đó tăng dần trong khi giám sát bộ nhớ GPU và hệ thống.

Tệp Q4 vừa đĩa nhưng không vừa RAM

Kích thước tệp GGUF không phải toàn bộ dấu chân runtime. Hãy để dư đáng kể cho bộ đệm runtime, cache và hệ điều hành.

KTransformers đơn GPU cực chậm

Điều đó có thể đúng khi hầu hết công việc chuyên gia được phục vụ từ bộ nhớ CPU. Kiểm tra bố trí NUMA, băng thông bộ nhớ, hỗ trợ tập lệnh CPU, hành vi lưu trữ trong lúc tải, và liệu khối lượng công việc của bạn có phù hợp hơn với mô hình đã lượng tử hóa nhỏ hơn không.

Tool calling trả JSON sai định dạng

Xác nhận rằng runtime của bạn dùng parser được khuyến nghị cho tích hợp GLM-5.3-Flash hiện tại. Cờ parser có thể thay đổi giữa các phiên bản framework, nên đừng tái sử dụng lệnh khởi chạy viết cho mô hình GLM cũ.

Ollama hoặc llama.cpp bắt đầu tải hàng trăm GB

Điều đó là bình thường với họ mô hình này. Xác minh thẻ lượng tử hóa trước khi bắt đầu tải, xác nhận dung lượng đĩa trống, và kiểm tra kích thước tệp tương ứng trong kho GGUF trước.

FAQ

Tôi có thể chạy GLM-5.3-Flash trên RTX 4090 không?

Có, RTX 4090 có thể tham gia suy luận dị thể CPU-GPU của KTransformers, nhưng 24 GB VRAM không đủ để chứa toàn bộ checkpoint. Lộ trình FP8 của KTransformers chính thức vẫn cần khoảng 350 GB bộ nhớ hệ thống khả dụng.

Tôi có thể chạy GLM-5.3-Flash trên RTX 5090 không?

Có, GPU dòng RTX 50 được đưa vào danh sách hỗ trợ KTransformers hiện tại. Tương tự 4090, ràng buộc chính là phần còn lại của hệ thống: dung lượng RAM, băng thông bộ nhớ, hỗ trợ CPU và lượng ngữ cảnh bạn cấp.

Tôi có thể chạy GLM-5.3-Flash với 128 GB RAM không?

Chỉ các lượng tử hóa GGUF mạnh nhất mới tiệm cận dải đó: Q2_K_XL khoảng 109 GB và IQ2_XXS khoảng 102 GB. Khi tính overhead runtime và KV cache, 128 GB là mục tiêu rất chật. Không phải cấu hình nên chọn nếu bạn muốn chất lượng dự đoán được hoặc ngữ cảnh dài.

GLM-5.3-Flash có chạy trong Ollama không?

Có. Unsloth ghi lại tải trực tiếp Ollama cho các bản GGUF của họ, gồm UD-Q4_K_XL.

GLM-5.3-Flash cần bao nhiêu VRAM?

Không có một con số VRAM đúng duy nhất. Triển khai server gốc phân phối checkpoint qua các bộ tăng tốc; KTransformers kết hợp VRAM GPU với hàng trăm GB RAM hệ thống; llama.cpp có thể offload bản GGUF đã lượng tử hóa giữa CPU và GPU. Hãy lập kế hoạch dựa trên runtime và lượng tử hóa bạn định dùng.

GLM-5.3-Flash có mã nguồn mở không?

Cách diễn đạt an toàn là trọng số mở theo giấy phép MIT. Kho Hugging Face chính thức liệt kê giấy phép MIT và cung cấp checkpoint có thể tải về.

Chạy GLM-5.3-Flash cục bộ có rẻ hơn API không?

Không tự động. Lưu trữ cục bộ có thể hợp lý khi bạn đã sở hữu phần cứng phù hợp, duy trì mức sử dụng cao ổn định, hoặc phải giữ dữ liệu trong hạ tầng của bạn. Với khối lượng gián đoạn, truy cập lưu trữ thường tránh được gánh nặng phần cứng và vận hành cố định lớn.

Kết luận

GLM-5.3-Flash hiệu quả khác thường đối với một mô hình với khoảng 320B tham số tổng, nhưng “Flash” không nên bị nhầm với “nhỏ”. Thiết kế MoE 18B tham số hoạt động giảm tính toán, trong khi attention lai tuyến tính và thưa khiến ngữ cảnh dài rẻ hơn nhiều, nhưng trọng số vẫn yêu cầu hàng trăm GB trừ khi bạn dùng lượng tử hóa mạnh.

Quyết định triển khai thực tế khá thẳng: dùng vLLM hoặc SGLang cho hạ tầng GPU cấp máy chủ; dùng KTransformers khi bạn có máy trạm bộ nhớ hệ thống rất lớn và muốn suy luận FP8 gốc dị thể CPU-GPU; dùng llama.cpp hoặc Ollama khi lượng tử hóa GGUF và sự dễ dàng thử nghiệm quan trọng nhất. Nếu không cấu hình phần cứng nào trong số đó khớp với máy của bạn, hãy dùng endpoint GLM-5.3-Flash được lưu trữ thay vì ép một mô hình 320B vào thiết lập cục bộ không phù hợp.