如何在本地執行 Muse Spark Open

TL;DR

在本機執行 Muse Spark Open 是可行的，但它屬於大規模部署，而非典型的單 GPU 設定。Meta 文檔列舉的配置包括：NVFP4 使用 4 張 NVIDIA B300 GPU、BF16 使用 8 張 B300 GPU，或使用多台 M5 Ultra Mac Studio 的分散式 MLX 方案。

對多數開發者而言，首要步驟是將檢查點對應到受支援的硬體與推理執行環境組合。以保守的上下文長度起步，確認伺服器能返回完整回應，並在提高上下文或併發前測量記憶體使用量。若缺乏合適硬體，使用代管推理 API 可能更務實，例如 CometAPI 的 Muse Spark。

Key Takeaways

• Muse Spark Open 共有 816B 總參數、每個 token 約 42B 活躍參數；完整專家庫仍需儲存與記憶體。
• 根據檢查點大小、加速器記憶體、互聯與服務開銷，在 NVFP4 與 BF16 之間選擇。
• NVIDIA 範例使用當前 4×B300 的 NVFP4 vLLM 配置；啟動前請核對實際硬體與執行環境。
• Apple 路徑需要多台 M5 Ultra Mac Studio，並透過直接 Thunderbolt 5 連結進行 RDMA。
• 在增加上下文或新增使用者前，先驗證模型端點、回應完整性與記憶體使用狀況。

What Is Muse Spark Open?

Muse Spark Open 是 Meta 的 Muse Spark 系列可下載權重版本。不同於傳統稠密 transformer，它採用稀疏 MoE（專家混合）設計，讓每個 token 僅經由部分專家路由，以較小的活躍計算量支撐前沿級容量。Meta 的發佈公告 稱其為原生多模態，並針對多步驟程式設計與代理型工作流程進行最佳化。

該模型接受文字、影像、音訊與影片輸入，並產生文字輸出；實際可用功能取決於服務執行環境。它採用 Muse Model License，且附帶使用限制。部署前請檢視倉庫條款，並審查代理工作流程中的不可逆操作。

How Does Muse Spark Open Perform?

品質基準有助於判斷模型是否值得評估，但無法告訴你本機伺服器的實際速度。以下數據為 Meta 回報的能力結果，非本指南中部署命令的量測值。

Meta 在其評測方法學中記錄了模型設定、基準特定流程與分數選取。上述結果採用 xhigh reasoning。請使用自身任務集、軟體版本、上下文與併發在本地比較；若服務上下文較低或測試框架不同，測到的即是不同場景。

Can You Actually Run Muse Spark Open Locally?

可以。只要系統符合檢查點、加速器與推理執行環境需求，即可在本機運行 Muse Spark Open。官方路徑包括 NVIDIA GPU 伺服器與分散式 Apple Silicon 系統；使用相容的 GGUF 轉換，亦可在具備足夠可定址記憶體的機器上作為另一選擇。Meta 的官方 Muse Spark Open 模型卡與 Hugging Face 部署指南 描述了釋出的權重與特定執行環境設定。標準消費級筆電無法將完整原生檢查點全部置入記憶體。

容量是首要限制。活躍參數描述的是每個 token 的計算，而非完整專家權重的總體積。Meta 的檢查點指南給出 NVFP4 約 537 GB、BF16 約 1.65 TB，尚不含 KV 快取、活化值與執行環境開銷。

按完整檢查點大小加上服務預留空間來配置硬體。長提示會增加 KV 快取壓力，且支援的 GPU 數量取決於執行環境與加速器。4 GPU 的 NVFP4 配置不代表任意四張 Blackwell 卡都能服務所有上下文長度。

自有 GPU 伺服器是原生權重的路徑；多台高記憶體 Mac Studio 是另一個受支援的路徑。消費級桌面需要相容的量化版本並謹慎檢查容量；僅有大型 SSD 不足以取代快速推理記憶體。

Which Checkpoint Should You Choose?

下載前先選好檢查點。Meta 提供 BF16 與 NVFP4 原生檢查點，但它們並非每個平台的通用格式推薦。已記錄的 NVIDIA Blackwell 路徑可用 BF16 或 NVFP4；AMD Instinct 路徑可用 BF16 或 AMD 特定的 MXFP4/FP8 檢查點；Intel Xeon 6 使用 INT4 配置；分散式 Apple Silicon 路徑則使用 MLX 的 NVFP4 檢查點。請依據你的加速器與推理執行環境，遵循 Meta 的檢查點指南與平台特定部署說明。GGUF 倉庫為 llama.cpp 提供不同打包與量化路徑。需核對所選檔案的執行環境相容性與模態支援。

以上為權重體積，非完整服務記憶體預算。請為快取、活化值、作業系統與執行環境分配空間。更低位元的轉換可降低儲存，但會改變品質或吞吐；請用實際提示測試這些取捨。

How to Download Muse Spark Open

先準備 Python 3.10 或更新版本、持久儲存，並存取官方 NVFP4 倉庫。審閱其授權並完成帳戶要求。BF16 檢查點位於獨立倉庫。以下下載會保存本機副本；稍後 Docker 範例使用 Hugging Face 的持久快取，若未明確設定本機路徑載入，可能會再下載一份。

將 NVFP4 檢查點下載到本機持久儲存。

python -m pip install -U huggingface_hub
hf auth login
hf download meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --local-dir ./Muse-Spark-Open-NVFP4

請預留數百 GB 的傳輸量，以及臨時檔的額外空間。若下載返回 HTTP 401/403，請在更換推理堆疊前確認倉庫存取與驗證。避免將權杖複製到公開的 shell 歷史或截圖中。

How to Deploy Muse Spark Open with vLLM

當你需要在支援的加速器伺服器上提供 OpenAI 相容端點時，請使用 vLLM。Meta 現已記錄 4×B300 的 NVFP4 起始配置。以下啟動示例遵循該拓撲，將服務上下文降低至 128K，並在首次驗證中關閉推測解碼。

Check the prerequisites

準備一台配備 4 張相容 B300 GPU 的 Linux 伺服器、相容的 NVIDIA 驅動、Docker、NVIDIA Container Toolkit，以及足夠的持久儲存供權重與快取使用。下載模型前先修正容器中的 GPU 可見性。請在 Bash shell 中執行 Bash 範例。

在 CUDA 容器中檢查主機、Docker 與 GPU 存取。

nvidia-smi
docker --version
docker run --rm --gpus all nvidia/cuda:12.8.1-base-ubuntu22.04 nvidia-smi

Set the Hugging Face token

若倉庫存取需要驗證，請透過環境變數傳遞權杖。以下提示在輸入時隱藏權杖；請勿將憑證貼到共用命令或公開日誌。

以不回顯方式讀取 Hugging Face 權杖。

read -rsp "Hugging Face token: " HF_TOKEN
echo
export HF_TOKEN

Pull the model-specific container

拉取 Muse Spark Open 的 vLLM 映像。

docker pull vllm/vllm-openai:muse-spark-open

使用當前的 Meta vLLM 配置與支援 Muse 的版本。過舊的通用映像可能無法識別架構或解析器。測試成功後保存映像摘要，以便後續部署使用相同版本。

Launch the NVFP4 server

使用 4 GPU 啟動 vLLM 伺服器，服務上限為 128K。

docker run --rm --gpus all --ipc=host \
  -p 127.0.0.1:8000:8000 \
  -e HF_TOKEN \
  -e VLLM_USE_RUST_FRONTEND=1 \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  vllm/vllm-openai:muse-spark-open \
  meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --max-model-len 131072 \
  --reasoning-parser muse \
  --tool-call-parser muse \
  --enable-auto-tool-choice

這是針對指定拓撲的起始配置，並非保證任意四張 GPU 都能服務該檢查點。讓首次下載、模型載入與編譯完成。請在重啟間保留快取。此命令會把倉庫內容抓到掛載的快取中；若僅使用上述 --local-dir 下載，未必會自動重用。

Test the local endpoint

列出服務中的模型並請求短答案。

curl http://localhost:8000/v1/models
curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model":"meta-models/Muse-Spark-Open-816B-A42B-NVFP4",
    "messages":[{"role":"user","content":"請用兩句話解釋張量並行。"}],
    "reasoning_effort":"low",
    "max_tokens":2048
  }'

若 /v1/models 返回的識別符不同，請使用該值。同時檢查最終答案與 finish_reason：到達 token 限制可能在有用答案出現前截斷推理。初期測試保持綁定 localhost，遠端使用前加入存取控制。

Connect a Python application

安裝示例所用的 Python 客戶端。

python -m pip install -U openai

從 Python 連接本地 vLLM 端點。

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="EMPTY",
    timeout=3600,
)
model_id = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_id,
    messages=[{"role": "user", "content": "寫一個小型的 Python 輸入驗證器。"}],
    max_tokens=2048,
    extra_body={"reasoning_effort": "low"},
)
print(response.choices[0].message.content)
print("finish_reason:", response.choices[0].finish_reason)

EMPTY 只是未啟用 API 金鑰驗證時的本地伺服器占位符。若啟用驗證，請使用設定的憑證。整合代理時，請記錄服務的模型 ID 與請求設定。

How to Deploy Muse Spark Open with SGLang

SGLang 是另一個支援原生權重的服務選項。其 Muse Spark Open cookbook 提供了硬體特定的配置與調優。為 B300 選用 NVIDIA 映像；AMD 與 Intel 有不同映像與配方。

Prepare the model-specific image

拉取適用於 Muse Spark Open 的 NVIDIA SGLang 映像。

docker pull lmsysorg/sglang:dev-muse-spark-open

Start the four-B300 NVFP4 server

以下基本啟動承接原生 NVFP4 設定，初期不啟用推測解碼與階層式快取。僅在基礎端點可運作且已測得記憶體餘裕後，再啟用這些功能。

以 4 路張量與 4 路專家並行啟動 SGLang。

docker run --rm --gpus all --ipc=host \
  -p 127.0.0.1:30000:30000 \
  -e HF_TOKEN \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  --entrypoint sglang \
  lmsysorg/sglang:dev-muse-spark-open serve \
  --model-path meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --tp-size 4 --ep-size 4 \
  --quantization modelopt_fp4 \
  --moe-runner-backend flashinfer_trtllm \
  --mem-fraction-static 0.8 \
  --context-length 131072 \
  --enable-layernorm-sp \
  --enable-megamoe-for-layernorm-sp \
  --reasoning-parser muse \
  --tool-call-parser muse \
  --host 0.0.0.0 --port 30000

Verify the SGLang endpoint

在重用 30000 埠的聊天請求前，先檢查模型列表。

curl http://localhost:30000/v1/models

將先前 vLLM 使用的短聊天測試送至 30000 埠，並使用此處返回的模型 ID。在執行程式設計代理前，重新檢查最終答案的完整性與一次無害的工具呼叫。

How to Run Muse Spark Open with llama.cpp

ggml-org 的 GGUF 倉庫 提供另一條轉換路徑。開始下載前，請檢閱所選檔案、可用 RAM/VRAM 與當前執行環境支援。GGUF 的可用性並不代表 816B 模型能適配一般筆電。

Install a current llama.cpp build

在受支援的 macOS 或 Linux 主機安裝 Llama 應用程式二進位。

curl -LsSf https://llama.app/install.sh | sh

在執行前請檢視安裝腳本；若環境阻擋 shell 安裝器，請使用平台特定指南。以下命令使用當前的 llama application 介面；較舊的 llama-server 二進位使用不同 CLI。

Start the GGUF server

以固定 API 別名與 32K 初始上下文服務 Q4_K_S GGUF。

llama serve \
  -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q4_K_S \
  -a muse-spark-open \
  -c 32768 \
  -np 1 \
  --chat-template-kwargs '{"reasoning_effort":"low"}'

確認 GGUF 伺服器可在本地端點訪問。

curl http://localhost:8080/v1/models

使用 muse-spark-open 作為請求的模型別名。測試期間將機器置於可信網路，並在共用存取前設定綁定與驗證。請就所選轉換確認視覺、音訊與工具行為，而非假設與原生權重功能等同。僅在 Muse Spark Open 模型包經驗證且版本相容時使用 Ollama。

How to Run Muse Spark Open on Multiple Mac Studios with MLX

使用兩台各 512 GB 統一記憶體的 M5 Ultra Mac Studio，或四台各 256 GB 的機器。這是一個分散式設定，而非一般 MacBook 安裝。

官方 MLX 部署說明要求 macOS 26.2 以上、MLX 0.30.1 以上、每台 Mac 啟用 RDMA、各機器間以 Thunderbolt 5 直接連線，並從主要主機設定免密碼 SSH。每台主機都需要存放完整 NVFP4 檢查點的磁碟空間。

在每台主機安裝 mlx-lm。使用 mlx.distributed_config 與 MLX 分散式指南產生 hostfile.json，填入各機器的 Thunderbolt IP 與 RDMA 裝置。啟動前檢查 SSH 存取與 RDMA 設定。

從主要 Mac 啟動分散式、OpenAI 相容的 MLX 伺服器。

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080

在主要 Mac 上以 curl http://localhost:8080/v1/models 驗證端點。重用返回的模型識別符發送短聊天請求。測試期間將服務置於可信網路，並在共用前加入驗證。

Which Muse Spark Open Checkpoint Should You Choose?

若具備受支援的 Blackwell 伺服器，當其記憶體與互聯符合原生配方時，優先選擇 NVFP4。當需要全精度參考且具備容量時使用 BF16。僅在檢查實際檔案大小與輸出品質後，選擇特定 GGUF 轉換以用於 llama.cpp。多 Mac 的已記錄路徑請使用相容 MLX 的 NVFP4 檢查點。

避免只看最小下載量來決策。請比較自身任務成功率、回應完整性、延遲與記憶體使用。將倉庫版本與執行環境版本記錄在部署檔案中，以便重現結果。

Muse Spark Open: vLLM vs SGLang vs llama.cpp vs MLX

請依現有硬體與模型特定配方選擇執行環境。vLLM 適合支援的加速器伺服器；MLX 覆蓋已記錄的多台 Mac 設定。Meta 亦記錄了搭配 GGUF 的 llama.cpp。先驗證所選檢查點與後端，再評估吞吐或切換執行環境。

How Do You Optimize a Local Muse Spark Open Deployment?

Increase context gradually

首次啟動使用受限上下文，僅在工作負載需要更多歷史時逐步提升。隨輸入長度增加，監控 prefill 時間與記憶體。模型支援 1M token 視窗，並不保證每種硬體配置都能在實用併發下保留該容量。

Tune one feature at a time

在啟用前綴快取、推測解碼或進階分散式拓撲前，先測量基線伺服器。每次變更後用相同提示與流量模式重測。保留能改善完成任務延遲或吞吐且不損害輸出品質的變更。

Keep storage and runtime versions predictable

將權重與快取放在持久且快速的儲存上，區分冷啟動與暖請求，並釘選已驗證的映像摘要。量測時記錄加速器類型、檢查點版本、執行環境建置、解析器設定、上下文上限與併發。

Monitor completed work

先檢查正確性再談速度。從短文字請求起步，確認伺服器返回完整答案；若執行環境支援，再測試一次無害的工具呼叫與一個影像請求。為每次本地量測記錄軟體版本、GPU 數量、檢查點、輸入長度、輸出預算與併發。

逐步增加提示長度與併發，觀察首 token 延遲、完整回應與峰值記憶體。上述為本地驗證量測；本指南不聲稱吞吐或硬體損益測試結果。

How Can You Use Muse Wonder API in CometAPI Instead of Self-Hosting?

若無法使用多 GPU 伺服器或分散式 Mac 設定，可改用 CometAPI 的 Muse Wonder API 作為代管的 Meta 模型替代方案。這不是 Muse Spark Open 檢查點的 API 端點：閘道模型 ID 為 muse-wonder，而 Muse Spark Open 指的是另行釋出的可下載權重。請勿將 Muse Spark Open 的基準結果或精確功能宣稱直接套用至 Muse Wonder。

Endpoint, model identity, and authentication

使用 HTTPS 基底 URL https://api.cometapi.com/v1、POST /chat/completions、Bearer 驗證與模型識別符 muse-wonder。認證細節請見 CometAPI 整合文件。

export COMETAPI_KEY="your_cometapi_api_key"
 
curl -X POST "https://api.cometapi.com/v1/chat/completions" \
  -H "Authorization: Bearer $COMETAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "muse-wonder",
    "messages": [{"role":"user","content":"請簡要說明專家並行。"}],
    "stream": false
  }'

成功回應應包含 choices[0].message.content 中的答案。上述請求僅演示 CometAPI 的已記錄路徑；不代表 Wonder 與 Spark Open 為相同模型。

Python client example

import os
from openai import OpenAI
 
client = OpenAI(
    api_key=os.environ["COMETAPI_KEY"],
    base_url="https://api.cometapi.com/v1",
    timeout=120.0,
)
result = client.chat.completions.create(
    model="muse-wonder",
    messages=[{"role": "user", "content": "請摘要說明部署取捨。"}],
)
print(result.choices[0].message.content)

What inputs and pricing does the alternative support?

Meta 記錄原生 Muse Wonder 支援文字、影像、影片、音訊與 PDF 輸入，輸出為文字。閘道對各媒體格式與訊息結構的支援需另行驗證；以上範例刻意以文字起步。CometAPI 的 Muse Wonder API 指南 提供以下定價快照：未快取輸入 token 每百萬 $3.20，輸出 token 每百萬 $16.00。該指南未建立 CometAPI 的快取輸入資費。上線前請確認你帳戶適用的費率。

以該報價為例，100,000 個未快取輸入 token 加 50,000 個輸出 token，模型 token 費用約為 $1.12（0.1 × $3.20 + 0.05 × $16.00），不含其他可能費用。相對地，本地託管成本取決於 GPU 購置或租用、電力、使用率、儲存、工程與維護。此為定價示例，非完成任務成本的量測。

自託管可掌控資料落地、執行環境配置，並在高使用率下可能更可預測；代管 API 則免去購置加速器、維護專家並行叢集與容錯工程。損益平衡取決於工作負載：輕量使用的內部助理與高利用率的程式設計代理隊伍，經濟性通常不同。

Common Muse Spark Open Local Deployment Problems

Separate startup failures from request failures

對啟動失敗，依序檢查倉庫存取、GPU 可見性、架構支援與記憶體配置。若伺服器已就緒但請求失敗，檢查模型 ID、請求格式、解析器與輸出預算。保存執行環境版本與首個相關錯誤，而非同時嘗試多個不相關旗標變更。

Conclusion

若具備受支援的 Blackwell 伺服器，請從 NVFP4 與官方 vLLM 部署配方起步，先驗證溫和的服務上下文，並在收集自身延遲與任務成功量測後再擴展並行度。若完全處於 Apple 生態，受支援的桌面方案是多台 M5 Ultra Mac Studio 的 MLX 分散式部署，而非傳統筆電安裝。對缺乏此類基礎設施的團隊，請使用代管推理供應商，同時明確標示模型身分與價格假設。

FAQ

How can I restart a Muse Spark Open download after an interruption?

以相同倉庫與本機目錄重跑 hf download。保留已下載檔與快取，以便重用已完成內容。重試前確認驗證仍有效且磁碟空間足夠；刪除整個目錄可能導致再次大量傳輸。

What happens to Muse Spark Open conversations after a server restart?

將 HTTP 推理端點視為無狀態，除非你的應用明確持久化對話歷史。請保存重建對話所需的訊息與工具結果，並在重啟後再次發送。持久化的模型下載快取僅保存權重檔，非你的應用對話。

How do I keep Muse Spark Open reasoning settings consistent?

在客戶端請求中明確設定支援的推理力度，而非依賴預設。比較回應時，連同模型版本、聊天模板與執行環境版本一起記錄該值。若升級後行為改變，請先檢查這些設定，再將差異歸因於檢查點。

How can several applications share a local Muse Spark Open endpoint?

讓每個客戶端指向相同的 OpenAI 相容基底 URL 與 /v1/models 返回的模型識別符。在共用給更多使用者前，加上驗證、請求限制與監控。測試同時請求，並在把單次成功請求視為容量保證前，定義排隊或逾時行為。