Muse Spark Openをローカルで実行する方法

TL;DR

Muse Spark Open をローカル実行することは可能ですが、一般的な単一 GPU のセットアップではなく、大規模なデプロイです。Meta の公開構成には、NVFP4 用に NVIDIA B300 を 4 枚、BF16 用に B300 を 8 枚、または複数の M5 Ultra Mac Studio を用いた分散 MLX セットアップが含まれます。

多くの開発者にとっての第一歩は、チェックポイントを対応ハードウェアと推論ランタイムの組み合わせに合わせることです。控えめなコンテキスト長から始め、サーバーが完全な応答を返すことを確認し、コンテキストや同時実行を増やす前にメモリ使用量を測定してください。適切なハードウェアにアクセスできない場合は、CometAPI の Muse Spark のようなホスト型推論 API が現実的な選択肢になり得ます。

Key Takeaways

• Muse Spark Open は総パラメータ 816B、トークンあたりのアクティブは約 42B。全エキスパート群の格納・メモリは依然として必要。
• チェックポイントサイズ、アクセラレータメモリ、インターコネクト、サービングのオーバーヘッドに基づいて NVFP4 または BF16 を選択。
• NVIDIA の例は現行の 4×B300 NVFP4 vLLM 構成。起動前に自分のハードウェアとランタイムを必ず検証。
• Apple 経路は複数の M5 Ultra Mac Studio を、Mac 間を直接 Thunderbolt 5 で RDMA 接続する要件。
• モデルのエンドポイント、応答の完了、メモリ使用量を確認してから、コンテキスト増加やユーザー追加を行う。

What Is Muse Spark Open?

Muse Spark Open は、Meta の Muse Spark ファミリーのダウンロード可能な重みのリリースです。従来の密なトランスフォーマーとは異なり、スパースな MoE 設計により、各トークンがエキスパートのサブセットを通るようにルーティングされ、アクティブ計算のフットプリントを小さく保ちながらフロンティア規模の容量を実現します。Meta のリリース発表 は、ネイティブにマルチモーダルで、マルチステップのコーディングとエージェント型ワークフローに最適化されていると説明しています。

モデルはテキスト、画像、音声、動画を受け取り、テキストを生成します。機能の可用性はサービングランタイムに依存します。利用には使用制限のある Muse Model License が適用されます。デプロイ前にリポジトリの条件を確認し、エージェントワークフローにおける不可逆な操作も見直してください。

How Does Muse Spark Open Perform?

品質ベンチマークはモデル評価の目安にはなりますが、ローカルサーバーの実行速度を示すものではありません。以下の数値は Meta が報告した能力評価であり、本ガイドのデプロイコマンドから測定したものではありません。

Meta はモデル設定、ベンチマーク固有の手順、スコアの選定を評価手法で文書化しています。上記結果では Muse Spark Open は xhigh reasoning を使用しています。ローカル環境では、独自のタスクセット、ソフトウェアバージョン、コンテキスト、同時実行で比較してください。提供コンテキストを下げたり異なるハーネスを使うと、テスト対象が変わります。

Can You Actually Run Muse Spark Open Locally?

はい。チェックポイント、アクセラレータ、推論ランタイムの要件を満たすシステムであれば、Muse Spark Open をローカルで実行できます。公開されている経路には NVIDIA GPU サーバーと分散 Apple Silicon システムが含まれ、十分なアドレス可能メモリがあるマシンでは互換 GGUF 変換という選択肢もあります。Meta の公式モデルカード と Hugging Face のデプロイガイドで、公開ウェイトとランタイム固有のセットアップが説明されています。一般的なコンシューマー向けノート PC では、ネイティブのフルチェックポイントをメモリに載せることはできません。

最初の制約はメモリ容量です。アクティブパラメータはトークンあたりの計算を表しており、全エキスパートの重みフットプリント全体ではありません。Meta のチェックポイントガイドは NVFP4 約 537 GB、BF16 約 1.65 TB と述べています（KV キャッシュ、アクティベーション、ランタイムのオーバーヘッドを除く）。

サービングには、フルチェックポイントサイズに加えヘッドルームを見積もってハードウェアを割り当ててください。長いプロンプトは KV キャッシュの圧力を高めます。また、サポートされる GPU 枚数はランタイムとアクセラレータに依存します。NVFP4 の 4 GPU 構成は、任意の 4 枚の Blackwell カードであらゆるコンテキスト長を提供できるという保証ではありません。

プライベートな GPU サーバーがネイティブウェイトの本命ルートです。複数の大容量メモリ Mac Studio は別のサポート経路です。コンシューマーデスクトップでは、互換の量子化ビルドと慎重な容量チェックが必要です。大容量 SSD だけでは、高速な推論メモリの代替にはなりません。

Which Checkpoint Should You Choose?

ダウンロード前にチェックポイントを選びましょう。Meta は BF16 と NVFP4 のネイティブチェックポイントを公開していますが、これはあらゆるプラットフォームに対する万能フォーマット推奨ではありません。公開されている NVIDIA Blackwell 向け経路は BF16 または NVFP4、AMD Instinct 向けは BF16 または AMD 固有の MXFP4/FP8、Intel Xeon 6 は INT4 構成、Apple Silicon の分散経路は MLX と NVFP4 チェックポイントを使用します。正確なアクセラレータと推論ランタイムがサポートするチェックポイントを選び、Meta のチェックポイントガイドおよびプラットフォーム別デプロイ手順に従ってください。GGUF リポジトリは llama.cpp 向けの別パッケージと量子化の経路を提供します。ランタイムの互換性とモダリティ対応は、選択したファイルごとに確認が必要です。

これらは重みのフットプリントであり、サービングに必要なメモリ全体ではありません。キャッシュ、アクティベーション、OS、ランタイムの確保分を残してください。低ビット変換はストレージを削減し得ますが、品質やスループットが変わる可能性があります。実際のプロンプトでトレードオフを検証してください。

How to Download Muse Spark Open

Python 3.10 以降、永続ストレージ、そして公式 NVFP4 リポジトリから始めます。ライセンスを確認し、アカウントに表示されるアクセス要件を満たしてください。BF16 チェックポイントは別リポジトリです。以下のダウンロードはローカルコピーを保存します。後述の Docker 例は永続的な Hugging Face キャッシュを利用するため、明示的にローカルパス読み込みを設定しない限り、別途ダウンロードされる場合があります。

NVFP4 チェックポイントを永続ストレージにダウンロードします。

python -m pip install -U huggingface_hub
hf auth login
hf download meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --local-dir ./Muse-Spark-Open-NVFP4

数百 GB 規模の転送と、一時ファイル用の追加空き容量を計画してください。HTTP 401/403 が返る場合は、推論スタックを変える前に、リポジトリのアクセス権と認証を確認してください。トークンを公開されたシェル履歴やスクリーンショットにコピーしないでください。

How to Deploy Muse Spark Open with vLLM

サポート対象のアクセラレータサーバーで OpenAI 互換のエンドポイントが必要な場合は vLLM を使用します。Meta は現在、NVFP4 で B300×4 の開始構成を文書化しています。以下の起動例はそのトポロジに従い、提供コンテキストを 128K に下げ、最初の検証実行では投機的デコードを無効のままにしています。

Check the prerequisites

互換 B300 GPU を 4 枚搭載した Linux サーバー、対応する NVIDIA ドライバ、Docker、NVIDIA Container Toolkit、重みとキャッシュ用の十分な永続ストレージを準備します。モデルをダウンロードする前に、コンテナ内の GPU 可視性を修正してください。Bash 例は Bash シェルで実行します。

ホスト、Docker、CUDA コンテナ内での GPU アクセスを確認します。

nvidia-smi
docker --version
docker run --rm --gpus all nvidia/cuda:12.8.1-base-ubuntu22.04 nvidia-smi

Set the Hugging Face token

リポジトリアクセスに認証が必要な場合は、環境変数経由でトークンを渡します。以下のプロンプトは入力時にトークンを非表示にします。共有コマンドや公開ログに認証情報を貼り付けないでください。

エコーせずに Hugging Face のトークンを読み取ります。

read -rsp "Hugging Face token: " HF_TOKEN
echo
export HF_TOKEN

Pull the model-specific container

Muse Spark Open 用の vLLM イメージを取得します。

docker pull vllm/vllm-openai:muse-spark-open

Muse 対応ビルドと現在の Meta vLLM 構成を使用してください。汎用の古いイメージではアーキテクチャやパーサを認識しない場合があります。テスト成功後はイメージダイジェストを保存し、後続のデプロイで同じビルドを使えるようにします。

Launch the NVFP4 server

128K のサービング制限で 4 GPU の vLLM サーバーを起動します。

docker run --rm --gpus all --ipc=host \
  -p 127.0.0.1:8000:8000 \
  -e HF_TOKEN \
  -e VLLM_USE_RUST_FRONTEND=1 \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  vllm/vllm-openai:muse-spark-open \
  meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --max-model-len 131072 \
  --reasoning-parser muse \
  --tool-call-parser muse \
  --enable-auto-tool-choice

これは指定トポロジ向けの開始構成であり、任意の 4 枚の GPU でチェックポイントを提供できることを保証するものではありません。最初のダウンロード、モデル読み込み、コンパイルが完了するまで待ちます。再起動間でキャッシュを保持してください。このコマンドはマウントしたキャッシュにリポジトリから取得します。上記の --local-dir とは自動共有されません。

Test the local endpoint

提供中のモデル一覧を取得し、短い回答を要求します。

curl http://localhost:8000/v1/models
curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model":"meta-models/Muse-Spark-Open-816B-A42B-NVFP4",
    "messages":[{"role":"user","content":"Explain tensor parallelism in two sentences."}],
    "reasoning_effort":"low",
    "max_tokens":2048
  }'

識別子が異なる場合は /v1/models が返したものを使用してください。最終回答と finish_reason の両方を確認します。トークン上限に達すると、有用な回答が出る前に推論が打ち切られることがあります。初期テストでは localhost バインドを維持し、リモート利用前にアクセス制御を追加してください。

Connect a Python application

例で使用する Python クライアントをインストールします。

python -m pip install -U openai

ローカルの vLLM エンドポイントを Python から呼び出します。

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="EMPTY",
    timeout=3600,
)
model_id = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_id,
    messages=[{"role": "user", "content": "Write a small Python input validator."}],
    max_tokens=2048,
    extra_body={"reasoning_effort": "low"},
)
print(response.choices[0].message.content)
print("finish_reason:", response.choices[0].finish_reason)

EMPTY は、API キー認証を有効化していないローカルサーバー向けのプレースホルダーです。認証を有効にする場合は設定済みの認証情報を使用してください。エージェント統合時は提供中のモデル ID とリクエスト設定を記録します。

How to Deploy Muse Spark Open with SGLang

SGLang は別のサポート済みネイティブウェイトのサービング選択肢です。SGLang の Muse Spark Open クックブックに、ハードウェア特有の構成とチューニングが掲載されています。B300 には NVIDIA イメージを選択してください。AMD と Intel は異なるイメージとレシピを用います。

Prepare the model-specific image

Muse Spark Open 用の NVIDIA SGLang イメージを取得します。

docker pull lmsysorg/sglang:dev-muse-spark-open

Start the four-B300 NVFP4 server

以下の基本起動はネイティブ NVFP4 設定を適用し、投機的デコードや階層キャッシュは省いています。ベースのエンドポイントが動作し、メモリ余裕を測ってからこれらの機能を有効化してください。

4 方向のテンソル並列とエキスパート並列で SGLang を起動します。

docker run --rm --gpus all --ipc=host \
  -p 127.0.0.1:30000:30000 \
  -e HF_TOKEN \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  --entrypoint sglang \
  lmsysorg/sglang:dev-muse-spark-open serve \
  --model-path meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --tp-size 4 --ep-size 4 \
  --quantization modelopt_fp4 \
  --moe-runner-backend flashinfer_trtllm \
  --mem-fraction-static 0.8 \
  --context-length 131072 \
  --enable-layernorm-sp \
  --enable-megamoe-for-layernorm-sp \
  --reasoning-parser muse \
  --tool-call-parser muse \
  --host 0.0.0.0 --port 30000

Verify the SGLang endpoint

モデル一覧を確認してから、ポート 30000 でチャットリクエストを再利用します。

curl http://localhost:30000/v1/models

ここで返されたモデル ID を用い、vLLM と同じ短いチャットテストをポート 30000 に送信します。コーディングエージェントを実行する前に、最終回答の完了と無害なツール呼び出しを再確認してください。

How to Run Muse Spark Open with llama.cpp

ggml-org の GGUF リポジトリは別の変換ルートを提供します。開始前に、選択ファイル、利用可能な RAM/VRAM、現行ランタイムの対応状況を確認してください。GGUF が利用可能でも、816B モデルが一般的なノート PC に収まるわけではありません。

Install a current llama.cpp build

サポートされる macOS または Linux ホストに Llama アプリのバイナリをインストールします。

curl -LsSf https://llama.app/install.sh | sh

インストールスクリプトは実行前に確認し、環境がシェルインストーラをブロックする場合はプラットフォーム固有の手順を用いてください。以下のコマンドは現在の llama アプリケーションインターフェースを使用します。旧来の llama-server というバイナリは異なる CLI です。

Start the GGUF server

固定の API エイリアスと 32K の初期コンテキストで Q4_K_S GGUF を提供します。

llama serve \
  -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q4_K_S \
  -a muse-spark-open \
  -c 32768 \
  -np 1 \
  --chat-template-kwargs '{"reasoning_effort":"low"}'

ローカルエンドポイントで GGUF サーバーの到達性を確認します。

curl http://localhost:8080/v1/models

リクエストのモデルエイリアスには muse-spark-open を使用します。テスト中は信頼できるネットワーク上でマシンを運用し、アクセス共有前にバインドと認証を設定してください。ネイティブウェイトと機能同等性を仮定せず、選んだ変換におけるビジョン、音声、ツールの挙動を確認してください。Ollama は、検証済みの Muse Spark Open モデルパッケージと互換バージョンでのみ使用してください。

How to Run Muse Spark Open on Multiple Mac Studios with MLX

M5 Ultra Mac Studio を 512 GB 構成で 2 台、または 256 GB 構成で 4 台使用します。これは分散セットアップであり、一般的な MacBook へのインストールではありません。

公式の MLX デプロイ手順では、macOS 26.2 以降、MLX 0.30.1 以降、全 Mac で RDMA を有効化、各 Mac 間を Thunderbolt 5 で直接接続、プライマリホストからのパスワードレス SSH が必要です。各ホストには NVFP4 のフルチェックポイントを格納できるディスク容量が必要です。

全ホストに mlx-lm をインストールします。mlx.distributed_config と MLX の分散ガイドを使用して、各マシンの Thunderbolt IP アドレスと RDMA デバイスを含む hostfile.json を生成します。起動前に SSH アクセスと RDMA 構成を確認してください。

プライマリ Mac から分散 OpenAI 互換の MLX サーバーを起動します。

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080

curl http://localhost:8080/v1/models で、プライマリ Mac からエンドポイントを検証します。短いチャットリクエストでも同じモデル識別子を再利用してください。テスト中は信頼できるネットワークで運用し、アクセス共有前に認証を追加します。

Which Muse Spark Open Checkpoint Should You Choose?

メモリとインターコネクトがネイティブのレシピに一致するサポート済み Blackwell サーバーがある場合は NVFP4 から始めてください。フル精度のリファレンスが必要で容量に余裕があるなら BF16 を使用します。llama.cpp 用の GGUF は、実際のファイルサイズと出力品質を確認してから特定の変換を選んでください。複数 Mac の公式ルートでは MLX 互換の NVFP4 チェックポイントを使用します。

最小ダウンロードサイズだけで選ばないでください。自分のタスク成功率、応答の完全性、レイテンシ、メモリ使用を比較します。結果の再現性のため、デプロイ記録にはリポジトリの正確なリビジョンとランタイムビルドを残してください。

Muse Spark Open: vLLM vs SGLang vs llama.cpp vs MLX

既存ハードウェアとモデル固有レシピに基づきランタイムを選んでください。vLLM はアクセラレータサーバーに適し、MLX は文書化されたマルチ Mac セットアップをカバーします。Meta は GGUF を用いた llama.cpp も文書化しています。スループットを見積もる前やランタイムを切り替える前に、選んだチェックポイントとバックエンドを検証してください。

How Do You Optimize a Local Muse Spark Open Deployment?

Increase context gradually

初回起動は制限したコンテキストで実施し、ワークロードに必要な場合のみ段階的に引き上げます。入力が長くなるにつれ、プリフィル時間とメモリを監視します。1M トークンのウィンドウがサポートされていても、どのハードウェア構成でも有用な同時実行でその容量を確保できるとは限りません。

Tune one feature at a time

プレフィックスキャッシュ、投機的デコード、高度な分散レイアウトは、ベースサーバーを計測してから有効化してください。変更のたびに同じプロンプトとトラフィックパターンで再計測します。出力品質を損なわずに完了タスクのレイテンシまたはスループットが向上する変更のみを残します。

Keep storage and runtime versions predictable

重みとキャッシュは高速な永続ストレージに配置し、コールドスタートとウォームリクエストを分離し、検証済みのイメージダイジェストを固定します。測定時には、アクセラレータ種別、チェックポイントのリビジョン、ランタイムビルド、パーサ設定、コンテキスト上限、同時実行を記録します。

Monitor completed work

速度より正しさを優先します。まず短いテキストリクエストから始め、サーバーが完全な回答を返すことを確認します。次に、無害なツール呼び出しと、ランタイムが対応していれば画像リクエストをテストします。各ローカル測定では、ソフトウェアバージョン、GPU 枚数、チェックポイント、入力長、出力上限、同時実行を記録します。

プロンプト長と同時実行は段階的に増やし、ファーストトークンレイテンシ、完了応答、ピークメモリを監視します。これらはローカル検証の測定であり、本ガイドは実測スループットや設備の損益分岐を主張しません。

How Can You Use Muse Wonder API in CometAPI Instead of Self-Hosting?

複数 GPU サーバーや分散 Mac セットアップが現実的でない場合は、Meta モデルの代替として CometAPI の Muse Wonder API を利用できます。これは Muse Spark Open チェックポイントの API エンドポイントではありません。ゲートウェイのモデル ID は muse-wonder であり、Muse Spark Open は別途公開されたダウンロード可能な重みです。Muse Spark Open のベンチマークやモデル機能をそのまま Wonder に転用しないでください。

Endpoint, model identity, and authentication

HTTPS ベース URL https://api.cometapi.com/v1、POST /chat/completions、Bearer 認証、モデル識別子 muse-wonder を使用します。認証の詳細は CometAPI の統合ドキュメントを参照してください。

export COMETAPI_KEY="your_cometapi_api_key"
 
curl -X POST "https://api.cometapi.com/v1/chat/completions" \
  -H "Authorization: Bearer $COMETAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "muse-wonder",
    "messages": [{"role":"user","content":"Explain expert parallelism briefly."}],
    "stream": false
  }'

成功レスポンスには choices[0].message.content に回答が含まれます。上記は CometAPI の文書化された経路の例であり、Wonder と Spark Open が同一モデルである証拠ではありません。

Python client example

import os
from openai import OpenAI
 
client = OpenAI(
    api_key=os.environ["COMETAPI_KEY"],
    base_url="https://api.cometapi.com/v1",
    timeout=120.0,
)
result = client.chat.completions.create(
    model="muse-wonder",
    messages=[{"role": "user", "content": "Summarize the deployment tradeoffs."}],
)
print(result.choices[0].message.content)

What inputs and pricing does the alternative support?

Meta はネイティブの Muse Wonder でテキスト、画像、動画、音声、PDF 入力（出力はテキスト）を文書化しています。各メディア形式とメッセージスキーマのゲートウェイ対応は別途検証が必要です。上の例は意図的にテキストから始めています。CometAPI の Muse Wonder API ガイドは、公開料金スナップショットとして、未キャッシュ入力トークン 100 万あたり $3.20、出力トークン 100 万あたり $16.00 を提示しています。CometAPI のキャッシュ済み入力の料金は確定しません。運用前にアカウントに適用されるレートを確認してください。

これらの料金では、未キャッシュ入力 100,000 トークンと出力 50,000 トークンは、モデルトークン課金がおおよそ $1.12（0.1 × $3.20 + 0.05 × $16.00）となります。他の手数料は除外しています。対照的に、ローカルホスティングのコストは、GPU の取得またはレンタル、電力、稼働率、ストレージ、エンジニアリング、保守に依存します。これは価格の一例であり、完了タスクあたりの実測コスト比較ではありません。

セルフホスティングはデータ所在地、ランタイム構成、高い稼働率の予見可能性を提供します。ホスト型 API は、アクセラレータの購入、エキスパート並列クラスタの維持、障害対策のエンジニアリングを回避できます。損益分岐点はワークロード依存です。軽負荷の社内アシスタントと高負荷のコーディングエージェント群では経済性が異なるのが一般的です。

Common Muse Spark Open Local Deployment Problems

Separate startup failures from request failures

起動失敗の場合は、リポジトリアクセス、GPU 可視性、アーキテクチャ対応、メモリ割り当ての順に確認してください。サーバーは起動するがリクエストが失敗する場合は、モデル ID、リクエスト形式、パーサ、出力上限を点検します。複数の無関係なフラグ変更を試すのではなく、ランタイムのバージョンと最初の関連エラーを保存してください。

Conclusion

サポート済み Blackwell サーバーをお持ちなら、NVFP4 と公式の vLLM デプロイレシピから始め、控えめな提供コンテキストで検証し、レイテンシとタスク成功の測定を収集してから並列性を拡大してください。Apple エコシステムに限定する場合、サポートされるデスクトップの選択肢は一般的なノートへのインストールではなく、複数の M5 Ultra Mac Studio による MLX 分散デプロイです。こうしたインフラがないチームは、モデルの同一性と価格の前提を明示しつつ、ホスト型推論プロバイダを利用してください。

FAQ

How can I restart a Muse Spark Open download after an interruption?

同じリポジトリとローカルディレクトリで hf download を再実行します。ダウンロード済みファイルとキャッシュを保持し、クライアントが完了済みコンテンツを再利用できるようにします。再試行前に認証が有効なことと、十分なディスク空き容量が残っていることを確認してください。ディレクトリ全削除は大規模な再転送を招くことがあります。

What happens to Muse Spark Open conversations after a server restart?

アプリケーションが明示的に会話履歴を永続化していない限り、HTTP 推論エンドポイントはステートレスとして扱ってください。会話の再構築に必要なメッセージやツール結果を保存し、再起動後に再送します。永続的なモデルダウンロードキャッシュはウェイトファイルを保持しますが、アプリケーションの会話は保持しません。

How do I keep Muse Spark Open reasoning settings consistent?

既定値に頼らず、クライアントリクエストでサポートされる reasoning effort を明示設定してください。比較時は、モデルのリビジョン、チャットテンプレート、ランタイムバージョンと併せてその値を記録します。アップグレード後に挙動が変化した場合は、チェックポイントに起因とする前にこれらの設定を確認してください。

How can several applications share a local Muse Spark Open endpoint?

各クライアントを同一の OpenAI 互換ベース URL と /v1/models が返すモデル識別子へ向けます。共有前に認証、リクエスト制限、監視を追加してください。同時リクエストをテストし、単一リクエスト成功を容量保証と見なす前に、キューイングやタイムアウト動作を定義してください。