Bạn có thể cung cấp liên kết hoặc tên repo chính xác của “Muse Spark Open” không? Có nhiều dự án trùng tên. Vui lòng cho biết thêm hệ điều hành bạn dùng và liệu có GPU NVIDIA hay không, để mình hướng dẫn chi tiết cách chạy cục bộ.

TL;DR

Chạy Muse Spark Open tại chỗ là khả thi, nhưng đây là một triển khai quy mô lớn chứ không phải cấu hình một GPU thông thường. Cấu hình do Meta ghi nhận gồm bốn GPU NVIDIA B300 cho NVFP4, tám B300 cho BF16, hoặc một thiết lập MLX phân tán dùng nhiều Mac Studio M5 Ultra.

Với đa số nhà phát triển, bước đầu tiên là khớp checkpoint với tổ hợp phần cứng và runtime suy luận được hỗ trợ. Bắt đầu với độ dài ngữ cảnh bảo thủ, xác minh máy chủ trả về phản hồi đầy đủ, và đo mức sử dụng bộ nhớ trước khi tăng ngữ cảnh hoặc đồng thời. Nếu bạn không có phần cứng phù hợp, API suy luận được lưu trữ có thể thực tế hơn, chẳng hạn như CometAPI's Muse Spark .

Key Takeaways

Muse Spark Open có tổng 816B tham số và khoảng 42B tham số hoạt động mỗi token; toàn bộ ngân hàng expert vẫn cần lưu trữ và bộ nhớ.
Chọn NVFP4 hoặc BF16 dựa trên kích thước checkpoint, bộ nhớ bộ tăng tốc, liên kết liên GPU và chi phí phục vụ.
Ví dụ của NVIDIA dùng cấu hình vLLM NVFP4 bốn B300 hiện tại; hãy xác minh chính xác phần cứng và runtime của bạn trước khi khởi chạy.
Lựa chọn Apple yêu cầu nhiều Mac Studio M5 Ultra và RDMA qua kết nối Thunderbolt 5 trực tiếp.
Xác minh endpoint mô hình, mức độ hoàn tất phản hồi và mức sử dụng bộ nhớ trước khi tăng ngữ cảnh hoặc thêm người dùng.

What Is Muse Spark Open?

Muse Spark Open là bản phát hành trọng số có thể tải xuống của họ Muse Spark từ Meta. Khác với transformer dày đặc thông thường, thiết kế MoE thưa định tuyến mỗi token qua một tập con expert, giúp đạt dung lượng quy mô tiên phong với dấu vết tính toán hoạt động nhỏ hơn. Thông báo phát hành của Meta mô tả đây là mô hình đa phương thức nguyên bản, tối ưu cho lập trình nhiều bước và quy trình tác tử.

Mô hình nhận văn bản, hình ảnh, âm thanh và video và sinh văn bản; tính năng khả dụng còn phụ thuộc vào runtime phục vụ. Nó được phân phối theo Muse Model License với các hạn chế sử dụng. Hãy kiểm tra điều khoản kho lưu trữ trước khi triển khai và rà soát các thao tác không thể đảo ngược trong quy trình tác tử.

Thông số Muse Spark Open	Chi tiết chính thức (phát hành; checkpoint)
Phát hành	October 15, 2026
Kiến trúc	Mixture-of-Experts (MoE) thưa
Tổng / tham số hoạt động	816B / khoảng 42B
Ngữ cảnh tối đa được công bố	1,048,576 tokens
Đầu vào / đầu ra	Văn bản, hình ảnh, video, âm thanh / văn bản
Checkpoint	BF16; NVIDIA NVFP4 (AMD cũng hỗ trợ MXFP4)
Dung lượng trọng số mô hình	BF16 ~1.65 TB; NVFP4 ~537 GB
Mục đích	Lập trình tác tử, suy luận, quy trình công cụ, phân tích đa phương thức
Giấy phép	Muse Model License; có áp dụng hạn chế sử dụng

How Does Muse Spark Open Perform?

Các benchmark chất lượng giúp xác định liệu mô hình đáng để đánh giá; chúng không nói bạn biết máy chủ cục bộ sẽ chạy nhanh thế nào. Các con số dưới đây là kết quả năng lực do Meta báo cáo, không phải phép đo từ các lệnh triển khai trong hướng dẫn này.

Benchmark (kết quả Meta)	Muse Spark Open (xhigh)	Điều kiện
JobBench	61.8	Đánh giá tác tử
HLE-Diamond	26.1	Không dùng tool
SciCode	58.5	Đánh giá lập trình
Terminal-Bench 2.1	76.4	Tác tử Terminus 2

Meta ghi chép cài đặt mô hình, quy trình đặc thù cho từng benchmark và cách chọn điểm trong phương pháp đánh giá. Muse Spark Open dùng xhigh reasoning trong các kết quả này. Hãy so sánh thiết lập cục bộ với tập tác vụ của riêng bạn, phiên bản phần mềm, ngữ cảnh và mức đồng thời; phục vụ ngữ cảnh thấp hơn hoặc harness khác sẽ thay đổi nội dung được kiểm tra.

Can You Actually Run Muse Spark Open Locally?

Có. Bạn có thể chạy Muse Spark Open cục bộ nếu hệ thống đáp ứng yêu cầu checkpoint, bộ tăng tốc và runtime suy luận. Các lộ trình được ghi nhận gồm máy chủ GPU NVIDIA và hệ thống Apple Silicon phân tán; một chuyển đổi GGUF tương thích cung cấp lựa chọn khác cho máy có đủ bộ nhớ có thể địa chỉ hóa. Thẻ mô hình chính thức Muse Spark Open và hướng dẫn triển khai trên Hugging Face mô tả trọng số đã phát hành và thiết lập cụ thể theo runtime. Máy tính xách tay tiêu dùng tiêu chuẩn không thể giữ toàn bộ checkpoint gốc trong bộ nhớ.

Dung lượng bộ nhớ là ràng buộc đầu tiên. Tham số hoạt động mô tả tính toán theo token, không phải toàn bộ dấu vết trọng số expert. Hướng dẫn checkpoint của Meta đưa ra khoảng 537 GB cho NVFP4 và 1.65 TB cho BF16, chưa bao gồm KV cache, kích hoạt và chi phí runtime.

Nền tảng	Lộ trình thực tế chính thức	Hạn chế chính
NVIDIA Blackwell	4 × B300 cho recipe NVFP4 TP4/EP4; 8 × B300 cho BF16	Dùng recipe đã thẩm định cho đúng GPU, runtime và checkpoint; ví dụ dưới đây dùng tám GPU
AMD Instinct	8 × MI350X/MI355X; định dạng hỗ trợ gồm MXFP4/FP8/BF16	Dùng recipe vLLM nhận biết ROCm
Apple Silicon	2 × 512 GB hoặc 4 × 256 GB Mac Studio M5 Ultra với MLX	Bộ nhớ hợp nhất phân tán, không phải một laptop đơn
Intel Xeon 6	Cấu hình INT4 thiên về CPU qua SGLang	Thông lượng khác biệt rõ rệt so với GPU cao cấp
GPU tiêu dùng 16–48 GB	Không thực tế cho cấu hình lưu trú hoàn toàn trên GPU	Dấu vết trọng số vượt xa bộ nhớ GPU

Phân bổ phần cứng dựa trên toàn bộ kích thước checkpoint cộng phần dư cho phục vụ. Prompt dài làm tăng áp lực KV-cache, và số GPU được hỗ trợ phụ thuộc vào runtime và bộ tăng tốc. Cấu hình NVFP4 bốn GPU không có nghĩa là bất kỳ bốn thẻ Blackwell nào cũng phục vụ được mọi độ dài ngữ cảnh.

Máy chủ GPU riêng là lộ trình trọng số gốc. Nhiều Mac Studio bộ nhớ lớn là lộ trình hỗ trợ riêng. Máy bàn tiêu dùng cần bản lượng tử hóa tương thích và kiểm tra dung lượng cẩn thận; SSD lớn không thể thay thế bộ nhớ suy luận nhanh.

Which Checkpoint Should You Choose?

Hãy chọn checkpoint trước khi tải xuống. Meta phát hành checkpoint gốc BF16 và NVFP4, nhưng đây không phải khuyến nghị định dạng phổ quát cho mọi nền tảng. Các lộ trình NVIDIA Blackwell ghi nhận dùng BF16 hoặc NVFP4; lộ trình AMD Instinct dùng BF16 hoặc các checkpoint MXFP4/FP8 riêng của AMD; Intel Xeon 6 dùng cấu hình INT4; còn lộ trình Apple Silicon phân tán dùng checkpoint NVFP4 với MLX. Chọn checkpoint được hỗ trợ bởi đúng bộ tăng tốc và runtime suy luận của bạn, theo hướng dẫn checkpoint và hướng dẫn triển khai theo nền tảng của Meta. Kho GGUF cung cấp hướng đóng gói và lượng tử hóa khác cho llama.cpp. Cần kiểm tra tương thích runtime và hỗ trợ phương thức cho đúng tập tin bạn chọn.

Định dạng (hướng dẫn checkpoint gốc)	Dấu vết trọng số	Mục đích triển khai
BF16 gốc	Khoảng 1.65 TB	Tham chiếu độ chính xác đầy đủ; máy chủ bộ tăng tốc lớn
NVFP4 gốc	Khoảng 537 GB	Phục vụ Blackwell được hỗ trợ hoặc MLX phân tán
Chuyển đổi GGUF	Thay đổi theo kho và lượng tử hóa	Thử nghiệm tương thích llama.cpp; xác minh kích thước tập tin hiện tại

Đây là dấu vết trọng số, không phải ngân sách bộ nhớ phục vụ hoàn chỉnh. Dành chỗ cho cache, kích hoạt, hệ điều hành và phân bổ runtime. Chuyển đổi số bit thấp hơn có thể giảm lưu trữ nhưng thay đổi chất lượng hoặc thông lượng; hãy kiểm thử đánh đổi đó trên prompt thực tế của bạn.

How to Download Muse Spark Open

Bắt đầu với Python 3.10 trở lên, lưu trữ bền vững, và kho NVFP4 chính thức. Xem giấy phép của kho và hoàn tất yêu cầu truy cập nếu có. Checkpoint BF16 là một kho riêng. Tải xuống dưới đây lưu một bản cục bộ; ví dụ Docker phía sau dùng cache Hugging Face bền vững, vì vậy có thể tải thêm một bản trừ khi bạn cấu hình nạp từ đường dẫn cục bộ.

Tải checkpoint NVFP4 về lưu trữ cục bộ bền vững.

python -m pip install -U huggingface_hub
hf auth login
hf download meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --local-dir ./Muse-Spark-Open-NVFP4

Lên kế hoạch cho hàng trăm gigabyte truyền tải và thêm không gian cho tập tin tạm. Nếu tải xuống trả về HTTP 401/403, hãy xác nhận quyền truy cập kho và xác thực trước khi đổi runtime suy luận. Tránh sao chép token vào lịch sử shell công khai hoặc ảnh chụp màn hình.

How to Deploy Muse Spark Open with vLLM

Dùng vLLM khi bạn muốn một endpoint tương thích OpenAI trên máy chủ bộ tăng tốc được hỗ trợ. Meta hiện ghi nhận cấu hình NVFP4 bốn B300 khởi đầu. Lệnh khởi chạy dưới đây bám sát topology đó, giảm ngữ cảnh phục vụ xuống 128K, và để tắt giải mã suy đoán trong lần xác minh đầu.

Check the prerequisites

Chuẩn bị máy chủ Linux với bốn GPU B300 tương thích, driver NVIDIA phù hợp, Docker, NVIDIA Container Toolkit, và đủ lưu trữ bền vững cho trọng số và cache. Sửa quyền nhìn GPU bên trong container trước khi tải mô hình. Chạy ví dụ Bash trong shell Bash.

Kiểm tra host, Docker, và truy cập GPU bên trong container CUDA.

nvidia-smi
docker --version
docker run --rm --gpus all nvidia/cuda:12.8.1-base-ubuntu22.04 nvidia-smi

Set the Hugging Face token

Nếu kho yêu cầu xác thực, truyền token qua biến môi trường. Prompt sau ẩn token khi bạn gõ; đừng dán thông tin xác thực vào lệnh chia sẻ hoặc log công khai.

Đọc token Hugging Face mà không echo.

read -rsp "Hugging Face token: " HF_TOKEN
echo
export HF_TOKEN

Pull the model-specific container

Kéo image vLLM cho Muse Spark Open.

docker pull vllm/vllm-openai:muse-spark-open

Dùng cấu hình vLLM hiện tại của Meta với bản build hỗ trợ Muse. Image chung cũ có thể không nhận ra kiến trúc hoặc parser. Lưu digest của image sau thử nghiệm thành công để các lần triển khai sau dùng cùng build.

Launch the NVFP4 server

Khởi chạy máy chủ vLLM bốn GPU với giới hạn phục vụ 128K.

docker run --rm --gpus all --ipc=host \
  -p 127.0.0.1:8000:8000 \
  -e HF_TOKEN \
  -e VLLM_USE_RUST_FRONTEND=1 \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  vllm/vllm-openai:muse-spark-open \
  meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --max-model-len 131072 \
  --reasoning-parser muse \
  --tool-call-parser muse \
  --enable-auto-tool-choice

Đây là cấu hình khởi điểm cho topology chỉ định, không phải cam kết rằng bất kỳ bốn GPU nào cũng phục vụ được checkpoint. Hãy để quá trình tải xuống đầu tiên, nạp mô hình và biên dịch hoàn tất. Giữ cache giữa các lần khởi động lại. Lệnh này tải từ kho vào cache được mount; nó không tự động tái sử dụng bản tải riêng với --local-dir ở trên.

Test the local endpoint

Liệt kê mô hình đang phục vụ và yêu cầu một câu trả lời ngắn.

curl http://localhost:8000/v1/models
curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model":"meta-models/Muse-Spark-Open-816B-A42B-NVFP4",
    "messages":[{"role":"user","content":"Explain tensor parallelism in two sentences."}],
    "reasoning_effort":"low",
    "max_tokens":2048
  }'

Dùng định danh trả về bởi /v1/models nếu khác. Kiểm tra cả câu trả lời cuối và finish_reason: chạm giới hạn token có thể cắt phần suy luận trước khi câu trả lời hữu ích xuất hiện. Giữ ràng buộc localhost cho các thử nghiệm ban đầu và thêm kiểm soát truy cập trước khi dùng từ xa.

Connect a Python application

Cài đặt client Python dùng trong ví dụ.

python -m pip install -U openai

Gọi endpoint vLLM cục bộ từ Python.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="EMPTY",
    timeout=3600,
)
model_id = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_id,
    messages=[{"role": "user", "content": "Write a small Python input validator."}],
    max_tokens=2048,
    extra_body={"reasoning_effort": "low"},
)
print(response.choices[0].message.content)
print("finish_reason:", response.choices[0].finish_reason)

EMPTY chỉ là placeholder cho máy chủ cục bộ không bật xác thực API-key. Dùng thông tin xác thực đã cấu hình nếu bạn bật xác thực. Ghi lại ID mô hình được phục vụ và cài đặt yêu cầu khi tích hợp tác tử.

How to Deploy Muse Spark Open with SGLang

SGLang là một lựa chọn phục vụ trọng số gốc được hỗ trợ khác. Cookbook Muse Spark Open cung cấp cấu hình và tinh chỉnh theo phần cứng. Chọn image NVIDIA cho B300; AMD và Intel dùng image và recipe khác.

Prepare the model-specific image

Kéo image SGLang NVIDIA cho Muse Spark Open.

docker pull lmsysorg/sglang:dev-muse-spark-open

Start the four-B300 NVFP4 server

Khởi chạy dưới đây điều chỉnh thiết lập NVFP4 gốc, tắt giải mã suy đoán và cache phân cấp. Chỉ bật các tính năng đó sau khi endpoint cơ bản hoạt động và đã đo phần dư bộ nhớ.

Khởi chạy SGLang với song song tensor và expert bốn chiều.

docker run --rm --gpus all --ipc=host \
  -p 127.0.0.1:30000:30000 \
  -e HF_TOKEN \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  --entrypoint sglang \
  lmsysorg/sglang:dev-muse-spark-open serve \
  --model-path meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --tp-size 4 --ep-size 4 \
  --quantization modelopt_fp4 \
  --moe-runner-backend flashinfer_trtllm \
  --mem-fraction-static 0.8 \
  --context-length 131072 \
  --enable-layernorm-sp \
  --enable-megamoe-for-layernorm-sp \
  --reasoning-parser muse \
  --tool-call-parser muse \
  --host 0.0.0.0 --port 30000

Verify the SGLang endpoint

Kiểm tra danh sách mô hình trước khi dùng lại yêu cầu chat trên cổng 30000.

curl http://localhost:30000/v1/models

Gửi lại bài test chat ngắn dùng cho vLLM đến cổng 30000, dùng ID mô hình trả về tại đây. Kiểm tra lại hoàn tất câu trả lời cuối và một lệnh tool vô hại trước khi chạy tác tử lập trình.

How to Run Muse Spark Open with llama.cpp

Khu GGUF của ggml-org cung cấp lộ trình chuyển đổi riêng. Rà soát tập tin đã chọn, RAM/VRAM khả dụng, và hỗ trợ runtime hiện tại trước khi bắt đầu tải. GGUF khả dụng không có nghĩa mô hình 816B sẽ phù hợp với laptop bình thường.

Install a current llama.cpp build

Cài binary ứng dụng Llama trên máy macOS hoặc Linux được hỗ trợ.

curl -LsSf https://llama.app/install.sh | sh

Rà soát script cài đặt trước khi chạy và dùng hướng dẫn theo nền tảng nếu môi trường của bạn chặn bộ cài shell. Các lệnh dưới đây dùng giao diện ứng dụng llama hiện tại; binary cũ tên llama-server dùng CLI khác.

Start the GGUF server

Phục vụ GGUF Q4_K_S với bí danh API cố định và ngữ cảnh khởi đầu 32K.

llama serve \
  -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q4_K_S \
  -a muse-spark-open \
  -c 32768 \
  -np 1 \
  --chat-template-kwargs '{"reasoning_effort":"low"}'

Xác nhận máy chủ GGUF có thể truy cập qua endpoint cục bộ.

curl http://localhost:8080/v1/models

Dùng muse-spark-open làm bí danh mô hình trong yêu cầu. Giữ máy trên mạng tin cậy khi thử nghiệm, và cấu hình binding cùng xác thực trước khi chia sẻ truy cập. Xác nhận hành vi thị giác, âm thanh, và tool cho bản chuyển đổi đã chọn thay vì giả định tương đương tính năng với trọng số gốc. Chỉ dùng Ollama với gói mô hình Muse Spark Open đã được xác minh và phiên bản tương thích.

How to Run Muse Spark Open on Multiple Mac Studios with MLX

Dùng hai Mac Studio M5 Ultra với mỗi máy 512 GB bộ nhớ hợp nhất, hoặc bốn máy mỗi máy 256 GB. Đây là thiết lập phân tán, không phải cài đặt trên MacBook thông thường.

Hướng dẫn triển khai MLX chính thức yêu cầu macOS 26.2 trở lên, MLX 0.30.1 trở lên, bật RDMA trên mọi máy Mac, kết nối Thunderbolt 5 trực tiếp giữa mọi cặp máy, và SSH không mật khẩu từ máy chủ chính. Mỗi máy cần dung lượng đĩa cho toàn bộ checkpoint NVFP4.

Cài mlx-lm trên mọi máy. Dùng mlx.distributed_config và hướng dẫn phân tán MLX để tạo hostfile.json với địa chỉ IP Thunderbolt và thiết bị RDMA của từng máy. Kiểm tra truy cập SSH và cấu hình RDMA trước khi khởi chạy.

Khởi chạy máy chủ MLX tương thích OpenAI phân tán từ máy Mac chính.

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080

Xác minh endpoint từ máy Mac chính bằng curl http://localhost:8080/v1/models. Dùng lại định danh mô hình trả về cho yêu cầu chat ngắn. Giữ dịch vụ trên mạng tin cậy và thêm xác thực trước khi chia sẻ truy cập.

Which Muse Spark Open Checkpoint Should You Choose?

Bắt đầu với NVFP4 trên máy chủ Blackwell được hỗ trợ khi bộ nhớ và liên kết phù hợp recipe gốc. Dùng BF16 khi cần tham chiếu độ chính xác đầy đủ và bạn có đủ dung lượng. Chỉ chọn chuyển đổi GGUF cho llama.cpp sau khi kiểm tra kích thước tập tin thực tế và chất lượng đầu ra. Với lộ trình nhiều máy Mac đã ghi nhận, dùng checkpoint NVFP4 tương thích MLX.

Tránh chọn chỉ dựa theo bản tải xuống nhỏ nhất. So sánh mức thành công tác vụ của bạn, độ hoàn tất phản hồi, độ trễ và mức dùng bộ nhớ. Giữ phiên bản kho và build runtime chính xác trong hồ sơ triển khai để có thể tái lập kết quả.

Muse Spark Open: vLLM vs SGLang vs llama.cpp vs MLX

Runtime (tùy chọn triển khai chính thức)	Môi trường phù hợp nhất	Điểm mạnh	Cần chú ý
vLLM	Máy chủ bộ tăng tốc NVIDIA/AMD	Endpoint tương thích OpenAI; batching; song song	Cần build mô hình và hỗ trợ GPU chính xác
SGLang	Suy luận GPU hiệu năng cao	Expert parallelism; kernel phục vụ tối ưu	Cờ khởi chạy phụ thuộc vào checkpoint/plugin
MLX	Nhiều hệ Apple M5 Ultra	Tối ưu bộ nhớ hợp nhất Apple	Yêu cầu phân tán đa host
llama.cpp	Suy luận linh hoạt với checkpoint GGUF hỗ trợ	Hệ sinh thái suy luận cục bộ linh hoạt	Xác nhận checkpoint, RAM/VRAM khả dụng, và tốc độ đo đạc cho backend đã chọn

Chọn runtime dựa trên phần cứng sẵn có và recipe đặc thù mô hình. vLLM phù hợp máy chủ bộ tăng tốc được hỗ trợ; MLX bao phủ thiết lập nhiều Mac đã ghi nhận. Meta cũng ghi nhận llama.cpp với checkpoint GGUF. Xác thực checkpoint và backend đã chọn trước khi ước tính thông lượng hoặc đổi runtime.

How Do You Optimize a Local Muse Spark Open Deployment?

Increase context gradually

Dùng ngữ cảnh giới hạn cho lần khởi chạy đầu và chỉ tăng khi khối lượng công việc cần nhiều lịch sử hơn. Theo dõi thời gian prefill và bộ nhớ khi độ dài đầu vào tăng. Mô hình hỗ trợ cửa sổ 1M token không đảm bảo mọi cấu hình phần cứng đều có thể dành dung lượng đó ở mức đồng thời hữu ích.

Tune one feature at a time

Đo máy chủ nền trước khi bật cache tiền tố, giải mã suy đoán, hoặc layout phân tán nâng cao. Lặp lại cùng prompt và mẫu lưu lượng sau mỗi thay đổi. Giữ các thay đổi cải thiện độ trễ tác vụ hoàn tất hoặc thông lượng mà không làm giảm chất lượng đầu ra.

Keep storage and runtime versions predictable

Đặt trọng số và cache trên lưu trữ nhanh, bền; tách khởi động lạnh khỏi yêu cầu ấm; và ghim digest image đã xác thực. Ghi lại loại bộ tăng tốc, bản checkpoint, build runtime, cài đặt parser, giới hạn ngữ cảnh, và mức đồng thời cùng với phép đo.

Monitor completed work

Kiểm tra tính đúng trước tốc độ. Bắt đầu với yêu cầu văn bản ngắn và xác nhận máy chủ trả về câu trả lời đầy đủ. Sau đó thử một lệnh tool vô hại và yêu cầu hình ảnh nếu runtime đã chọn hỗ trợ. Ghi lại phiên bản phần mềm, số GPU, checkpoint, độ dài đầu vào, ngân sách đầu ra, và mức đồng thời cho mọi phép đo cục bộ.

Chỉ số	Vì sao quan trọng	Cách đo lường
Thời gian đến token đầu	Khả năng phản hồi tương tác	p50/p95 từ truy vết yêu cầu cục bộ
Tốc độ decode	Tốc độ sinh tiếp	Token đầu ra chia cho thời gian decode
Thông lượng	Năng lực người dùng đồng thời	Số yêu cầu hoàn tất hoặc token mỗi giây
Bộ nhớ GPU/host	Nguy cơ lỗi và mật độ phục vụ	Bộ nhớ cấp phát và đỉnh
Tỉ lệ thành công tác vụ	Tính hữu ích ở cấp ứng dụng	Cùng một bộ bài gán nhãn cho lập trình/tool
Chi phí mỗi tác vụ hoàn tất	Kinh tế hạ tầng	Khấu hao phần cứng + điện + kỹ thuật

Tăng dần độ dài prompt và mức đồng thời, theo dõi độ trễ token đầu, phản hồi hoàn tất, và đỉnh bộ nhớ. Đây là phép đo xác minh cục bộ; hướng dẫn này không khẳng định thông lượng đo đạc hay điểm hòa vốn phần cứng.

How Can You Use Muse Wonder API in CometAPI Instead of Self-Hosting?

Nếu máy chủ đa GPU hoặc thiết lập nhiều Mac phân tán là bất khả thi, bạn có thể dùng Muse Wonder API trong CometAPI như một lựa chọn mô hình Meta được lưu trữ. Đây không phải endpoint API cho checkpoint Muse Spark Open: ID mô hình gateway là muse-wonder, trong khi Muse Spark Open là trọng số tải về phát hành riêng. Đừng chuyển giao kết quả benchmark hoặc tuyên bố tính năng mô hình chính xác của Muse Spark Open sang Muse Wonder.

Endpoint, model identity, and authentication

Dùng HTTPS base URL https://api.cometapi.com/v1, POST /chat/completions, xác thực Bearer, và định danh mô hình muse-wonder. Xem tài liệu tích hợp CometAPI để biết chi tiết xác thực.

export COMETAPI_KEY="your_cometapi_api_key"
 
curl -X POST "https://api.cometapi.com/v1/chat/completions" \
  -H "Authorization: Bearer $COMETAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "muse-wonder",
    "messages": [{"role":"user","content":"Explain expert parallelism briefly."}],
    "stream": false
  }'

Phản hồi thành công sẽ bao gồm câu trả lời trong choices[0].message.content. Yêu cầu trên minh họa lộ trình CometAPI đã ghi nhận; nó không chứng minh Wonder và Spark Open là cùng một mô hình.

Python client example

import os
from openai import OpenAI
 
client = OpenAI(
    api_key=os.environ["COMETAPI_KEY"],
    base_url="https://api.cometapi.com/v1",
    timeout=120.0,
)
result = client.chat.completions.create(
    model="muse-wonder",
    messages=[{"role": "user", "content": "Summarize the deployment tradeoffs."}],
)
print(result.choices[0].message.content)

What inputs and pricing does the alternative support?

Meta ghi nhận đầu vào văn bản, hình ảnh, video, âm thanh, và PDF cho Muse Wonder gốc, với đầu ra văn bản. Hỗ trợ gateway cho từng định dạng phương tiện và lược đồ message phải được xác minh riêng; ví dụ trên cố ý bắt đầu bằng văn bản. Hướng dẫn API Muse Wonder của CometAPI cung cấp ảnh chụp mức giá công bố sau: $3.20 mỗi triệu token đầu vào chưa cache và $16.00 mỗi triệu token đầu ra. Nó không thiết lập biểu giá đầu vào đã cache của CometAPI. Kiểm tra mức giá áp dụng cho tài khoản của bạn trước khi dùng sản xuất.

Với các mức giá đã nêu, 100,000 token đầu vào chưa cache cộng 50,000 token đầu ra sẽ tốn khoảng $1.12 phí token mô hình (0.1 × $3.20 + 0.05 × $16.00), chưa bao gồm phí khác có thể có. Ngược lại, chi phí chạy tại chỗ phụ thuộc việc mua hoặc thuê GPU, điện, mức sử dụng, lưu trữ, kỹ thuật, và bảo trì. Đây là ví dụ định giá, không phải benchmark chi phí mỗi tác vụ đo đạc.

Tự lưu trữ đem lại quyền kiểm soát nơi lưu dữ liệu, cấu hình runtime và tiềm năng sử dụng cao có thể dự đoán. API được lưu trữ giúp tránh mua bộ tăng tốc, duy trì cụm expert-parallel, và xây dựng chịu lỗi. Điểm hòa vốn phụ thuộc khối lượng công việc: một trợ lý nội bộ dùng nhẹ thường có kinh tế khác với một đội tác tử lập trình sử dụng dày đặc.

Common Muse Spark Open Local Deployment Problems

Triệu chứng	Nguyên nhân có thể	Khuyến nghị kiểm tra
HF 401 / 403	Trọng số bị kiểm soát hoặc token sai	Chấp nhận điều khoản; xác thực và kiểm quyền token
Hết bộ nhớ khi khởi động	Checkpoint cộng runtime vượt dung lượng	Xác thực định dạng, số GPU, expert parallelism và cache
Kiến trúc / kernel không hỗ trợ	GPU sai hoặc image runtime sai	Dùng build NVIDIA/AMD chính thức cho bộ tăng tốc
Máy chủ chạy nhưng yêu cầu lỗi	ID mô hình phục vụ hoặc parser sai	Truy vấn /v1/models và xác minh cờ parser Muse
Prompt dài rất chậm	Nhu cầu prefill / cache quá mức	Giảm ngữ cảnh phục vụ; benchmark độ dài prompt
Tool call phân tích sai	Template hoặc parser không khớp	Dùng parser tool-call Muse và phiên bản mô hình tương ứng

Separate startup failures from request failures

Với lỗi khởi động, kiểm tra quyền truy cập kho, khả năng nhìn GPU, hỗ trợ kiến trúc, và cấp phát bộ nhớ theo thứ tự đó. Nếu máy chủ sẵn sàng nhưng yêu cầu lỗi, kiểm tra ID mô hình, định dạng yêu cầu, parser, và ngân sách đầu ra. Lưu phiên bản runtime và lỗi liên quan đầu tiên thay vì thử lại với nhiều thay đổi cờ không liên quan.

Conclusion

Nếu bạn có máy chủ Blackwell được hỗ trợ, hãy bắt đầu với NVFP4 và recipe triển khai vLLM chính thức, xác minh ngữ cảnh phục vụ khiêm tốn, và mở rộng song song sau khi thu thập phép đo độ trễ và thành công tác vụ của riêng bạn. Nếu bạn hoạt động hoàn toàn trong hệ sinh thái Apple, câu chuyện desktop được hỗ trợ là triển khai MLX nhiều Mac Studio M5 Ultra, không phải cài đặt trên laptop thông thường. Với đội ngũ không có hạ tầng này, dùng nhà cung cấp suy luận được lưu trữ trong khi giữ rõ ràng danh tính mô hình và giả định về giá.

FAQ

How can I restart a Muse Spark Open download after an interruption?

Chạy lại hf download với cùng kho và thư mục cục bộ. Giữ các tập tin đã tải và cache để client tái sử dụng nội dung đã xong. Xác nhận rằng xác thực vẫn hoạt động và còn đủ dung lượng đĩa trước khi thử lại; xóa toàn bộ thư mục có thể buộc phải tải lại dung lượng lớn.

What happens to Muse Spark Open conversations after a server restart?

Xem endpoint HTTP suy luận là không trạng thái trừ khi ứng dụng của bạn rõ ràng lưu trữ lịch sử hội thoại. Lưu message và kết quả tool cần thiết để dựng lại hội thoại, và gửi lại chúng sau khi khởi động. Cache tải xuống mô hình bền chỉ giữ tập tin trọng số, không giữ hội thoại của ứng dụng.

How do I keep Muse Spark Open reasoning settings consistent?

Thiết lập mức reasoning effort được hỗ trợ một cách tường minh trong yêu cầu client thay vì dựa vào mặc định. Ghi lại giá trị đó cùng phiên bản mô hình, chat template, và phiên bản runtime khi so sánh phản hồi. Nếu hành vi thay đổi sau nâng cấp, kiểm tra các cài đặt đó trước khi quy kết khác biệt cho checkpoint.

Trỏ mỗi client về cùng base URL tương thích OpenAI và định danh mô hình do /v1/models trả về. Thêm xác thực, giới hạn yêu cầu, và giám sát trước khi chia sẻ với nhiều người dùng. Kiểm thử yêu cầu đồng thời và xác định hành vi xếp hàng hoặc timeout trước khi coi một yêu cầu đơn lẻ thành công là đảm bảo về năng lực.