Como executar o Muse Spark Open localmente

TL;DR

Executar o Muse Spark Open localmente é possível, mas trata-se de uma implantação em larga escala, e não de uma configuração típica de uma única GPU. As configurações documentadas pela Meta incluem quatro GPUs NVIDIA B300 para NVFP4, oito GPUs B300 para BF16 ou uma configuração MLX distribuída usando vários Mac Studios M5 Ultra.

Para a maioria dos desenvolvedores, o primeiro passo é corresponder o checkpoint a uma combinação suportada de hardware e runtime de inferência. Comece com um comprimento de contexto conservador, verifique se o servidor retorna respostas completas e meça o uso de memória antes de aumentar o contexto ou a concorrência. Se você não tiver acesso a hardware adequado, uma API de inferência hospedada pode ser a opção mais prática, como o Muse Spark da CometAPI.

Key Takeaways

• O Muse Spark Open tem 816B parâmetros totais e cerca de 42B ativos por token; o banco completo de especialistas ainda requer armazenamento e memória.
• Escolha NVFP4 ou BF16 considerando o tamanho do checkpoint, a memória do acelerador, o interconnect e a sobrecarga de serving.
• O exemplo da NVIDIA usa a configuração NVFP4 vLLM atual com quatro B300; verifique seu hardware e runtime exatos antes de iniciar.
• A rota Apple exige vários Mac Studios M5 Ultra e RDMA sobre links Thunderbolt 5 diretos.
• Verifique o endpoint do modelo, a conclusão das respostas e o uso de memória antes de aumentar o contexto ou adicionar usuários.

What Is Muse Spark Open?

O Muse Spark Open é o lançamento com pesos baixáveis da família Muse Spark da Meta. Diferente de um transformer denso convencional, seu design MoE esparso roteia cada token por um subconjunto de especialistas, oferecendo capacidade em escala de fronteira com uma pegada de computação ativa menor. O anúncio de lançamento da Meta o descreve como nativamente multimodal e otimizado para codificação em múltiplas etapas e fluxos de trabalho baseados em agentes.

O modelo aceita texto, imagens, áudio e vídeo e produz texto; a disponibilidade dos recursos ainda depende do runtime de serving. Ele é distribuído sob a Muse Model License com restrições de uso. Verifique os termos do repositório antes da implantação e revise ações irreversíveis em fluxos de trabalho de agentes.

How Does Muse Spark Open Perform?

Benchmarks de qualidade ajudam a estabelecer se o modelo vale a avaliação; eles não informam quão rápido seu servidor local irá rodar. As cifras abaixo são resultados de capacidade reportados pela Meta, não medições dos comandos de implantação deste guia.

A Meta documenta configurações do modelo, procedimentos específicos por benchmark e seleção de pontuação em sua metodologia de avaliação. O Muse Spark Open usa raciocínio xhigh nesses resultados. Compare uma configuração local usando seu próprio conjunto de tarefas, versão de software, contexto e concorrência; um contexto servido menor ou um harness diferente muda o que está sendo testado.

Can You Actually Run Muse Spark Open Locally?

Sim. Você pode executar o Muse Spark Open localmente se seu sistema atender aos requisitos do checkpoint, do acelerador e do runtime de inferência. As rotas documentadas incluem servidores com GPUs NVIDIA e sistemas Apple Silicon distribuídos; uma conversão compatível em GGUF fornece outra opção para máquinas com memória endereçável suficiente. O model card oficial do Muse Spark Open da Meta e o guia de implantação na Hugging Face descrevem os pesos lançados e a configuração específica por runtime. Um laptop consumidor padrão não consegue manter o checkpoint nativo completo em memória.

A capacidade de memória é a primeira restrição. Parâmetros ativos descrevem computação por token, não a pegada completa dos pesos dos especialistas. O guia de checkpoint da Meta indica aproximadamente 537 GB para NVFP4 e 1,65 TB para BF16, excluindo cache KV, ativações e sobrecarga do runtime.

Aloque hardware usando o tamanho completo do checkpoint mais uma margem para serving. Prompts longos adicionam pressão no cache KV, e a quantidade de GPUs suportada depende do runtime e do acelerador. A configuração NVFP4 de quatro GPUs não é uma promessa de que quaisquer quatro placas Blackwell conseguirão servir todo comprimento de contexto.

Um servidor GPU privado é a rota de pesos nativos. Vários Mac Studios com memória grande são uma rota suportada separada. Desktops de consumo exigem um build quantizado compatível e verificações cuidadosas de capacidade; um grande SSD sozinho não substitui memória rápida de inferência.

Which Checkpoint Should You Choose?

Escolha um checkpoint antes de baixar. A Meta publica checkpoints nativos BF16 e NVFP4, mas estes não são recomendações universais de formato para toda plataforma. As rotas documentadas para NVIDIA Blackwell usam BF16 ou NVFP4; as rotas AMD Instinct usam BF16 ou checkpoints específicos AMD como MXFP4/FP8; Intel Xeon 6 usa uma configuração INT4; e a rota Apple Silicon distribuída usa o checkpoint NVFP4 com MLX. Selecione o checkpoint suportado pelo seu acelerador e runtime de inferência exatos, seguindo o guia de checkpoint e as instruções de implantação específicas por plataforma da Meta. Repositórios GGUF oferecem um caminho diferente de empacotamento e quantização para o llama.cpp. Compatibilidade do runtime e suporte a modalidades devem ser verificados para os arquivos exatos que você selecionar.

Estas são pegadas de pesos, não orçamentos completos de memória de serving. Deixe espaço para cache, ativações, sistema operacional e alocações do runtime. Uma conversão com menos bits pode reduzir o armazenamento enquanto altera qualidade ou taxa de transferência; teste esses trade-offs nos seus prompts reais.

How to Download Muse Spark Open

Comece com Python 3.10 ou posterior, armazenamento persistente e o repositório oficial NVFP4. Revise sua licença e conclua quaisquer requisitos de acesso exibidos à sua conta. O checkpoint BF16 é um repositório separado. O download abaixo salva uma cópia local; o exemplo posterior com Docker usa um cache persistente da Hugging Face, então pode baixar outra cópia a menos que você configure explicitamente o carregamento por caminho local.

Baixe o checkpoint NVFP4 para armazenamento local persistente.

python -m pip install -U huggingface_hub
hf auth login
hf download meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --local-dir ./Muse-Spark-Open-NVFP4

Planeje centenas de gigabytes de transferência e espaço adicional para arquivos temporários. Se o download retornar HTTP 401/403, confirme acesso ao repositório e autenticação antes de alterar a pilha de inferência. Evite copiar um token em histórico de shell publicado ou capturas de tela.

How to Deploy Muse Spark Open with vLLM

Use vLLM quando quiser um endpoint compatível com OpenAI em um servidor de acelerador suportado. A Meta agora documenta uma configuração NVFP4 inicial com quatro B300. O exemplo de lançamento abaixo segue essa topologia, reduz o contexto servido para 128K e deixa a decodificação especulativa opcional desabilitada para a primeira execução de validação.

Check the prerequisites

Prepare um servidor Linux com quatro GPUs B300 compatíveis, o driver NVIDIA correspondente, Docker, NVIDIA Container Toolkit e armazenamento persistente suficiente para pesos e cache. Corrija a visibilidade das GPUs dentro dos containers antes de baixar o modelo. Execute os exemplos Bash em um shell Bash.

Verifique o host, o Docker e o acesso à GPU dentro de um container CUDA.

nvidia-smi
docker --version
docker run --rm --gpus all nvidia/cuda:12.8.1-base-ubuntu22.04 nvidia-smi

Set the Hugging Face token

Se o acesso ao repositório exigir autenticação, passe seu token pelo ambiente. O prompt a seguir oculta o token enquanto você digita; não cole credenciais em comandos compartilhados ou logs publicados.

Leia um token da Hugging Face sem ecoá-lo.

read -rsp "Hugging Face token: " HF_TOKEN
echo
export HF_TOKEN

Pull the model-specific container

Faça pull da imagem vLLM do Muse Spark Open.

docker pull vllm/vllm-openai:muse-spark-open

Use a configuração vLLM atual da Meta com um build compatível com Muse. Uma imagem genérica mais antiga pode não reconhecer a arquitetura ou o parser. Salve o digest da imagem após um teste bem-sucedido para que implantações futuras usem o mesmo build.

Launch the NVFP4 server

Inicie um servidor vLLM com quatro GPUs e limite de serving de 128K.

docker run --rm --gpus all --ipc=host \
  -p 127.0.0.1:8000:8000 \
  -e HF_TOKEN \
  -e VLLM_USE_RUST_FRONTEND=1 \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  vllm/vllm-openai:muse-spark-open \
  meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --max-model-len 131072 \
  --reasoning-parser muse \
  --tool-call-parser muse \
  --enable-auto-tool-choice

Esta é uma configuração inicial para a topologia especificada, não uma promessa de que quaisquer quatro GPUs conseguirão servir o checkpoint. Deixe o primeiro download, carregamento do modelo e compilação concluírem. Preserve o cache entre reinicializações. Este comando busca do repositório para o cache montado; ele não reutiliza automaticamente o download separado com --local-dir acima.

Test the local endpoint

Liste o modelo servido e solicite uma resposta curta.

curl http://localhost:8000/v1/models
curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model":"meta-models/Muse-Spark-Open-816B-A42B-NVFP4",
    "messages":[{"role":"user","content":"Explain tensor parallelism in two sentences."}],
    "reasoning_effort":"low",
    "max_tokens":2048
  }'

Use o identificador retornado por /v1/models se ele diferir. Verifique tanto a resposta final quanto o finish_reason: atingir o limite de tokens pode cortar o raciocínio antes de uma resposta útil aparecer. Mantenha a vinculação a localhost para testes iniciais e adicione controle de acesso antes do uso remoto.

Connect a Python application

Instale o cliente Python usado pelo exemplo.

python -m pip install -U openai

Chame o endpoint vLLM local a partir de Python.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="EMPTY",
    timeout=3600,
)
model_id = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_id,
    messages=[{"role": "user", "content": "Write a small Python input validator."}],
    max_tokens=2048,
    extra_body={"reasoning_effort": "low"},
)
print(response.choices[0].message.content)
print("finish_reason:", response.choices[0].finish_reason)

EMPTY é apenas um placeholder para um servidor local sem aplicação de chave de API. Use a credencial configurada se você habilitar autenticação. Registre o ID do modelo servido e as configurações da solicitação ao integrar agentes.

How to Deploy Muse Spark Open with SGLang

SGLang é outra opção de serving de pesos nativos suportada. Seu cookbook do Muse Spark Open fornece configuração e tuning específicos por hardware. Selecione a imagem NVIDIA para B300; AMD e Intel usam imagens e receitas diferentes.

Prepare the model-specific image

Faça pull da imagem SGLang NVIDIA para o Muse Spark Open.

docker pull lmsysorg/sglang:dev-muse-spark-open

Start the four-B300 NVFP4 server

O lançamento básico a seguir adapta as configurações nativas NVFP4, com decodificação especulativa e cache hierárquico omitidos. Habilite esses recursos apenas após o endpoint base funcionar e a folga de memória ser medida.

Inicie o SGLang com paralelismo de tensor e de especialistas em quatro vias.

docker run --rm --gpus all --ipc=host \
  -p 127.0.0.1:30000:30000 \
  -e HF_TOKEN \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  --entrypoint sglang \
  lmsysorg/sglang:dev-muse-spark-open serve \
  --model-path meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --tp-size 4 --ep-size 4 \
  --quantization modelopt_fp4 \
  --moe-runner-backend flashinfer_trtllm \
  --mem-fraction-static 0.8 \
  --context-length 131072 \
  --enable-layernorm-sp \
  --enable-megamoe-for-layernorm-sp \
  --reasoning-parser muse \
  --tool-call-parser muse \
  --host 0.0.0.0 --port 30000

Verify the SGLang endpoint

Verifique a lista de modelos antes de reutilizar a solicitação de chat na porta 30000.

curl http://localhost:30000/v1/models

Envie o mesmo teste de chat curto usado para vLLM para a porta 30000, usando o ID do modelo retornado aqui. Recheque a conclusão da resposta final e uma chamada de ferramenta inofensiva antes de executar um agente de codificação.

How to Run Muse Spark Open with llama.cpp

O repositório GGUF da ggml-org fornece uma rota de conversão separada. Revise os arquivos escolhidos, a RAM/VRAM disponível e o suporte atual do runtime antes de iniciar um download. A disponibilidade de GGUF não faz um modelo de 816B caber em um laptop comum.

Install a current llama.cpp build

Instale o binário do aplicativo Llama em um host macOS ou Linux suportado.

curl -LsSf https://llama.app/install.sh | sh

Revise scripts de instalação antes de executá-los e use instruções específicas da plataforma se seu ambiente bloquear instaladores de shell. Os comandos abaixo usam a interface atual do aplicativo llama; binários mais antigos chamados llama-server usam um CLI diferente.

Start the GGUF server

Sirva o GGUF Q4_K_S com um alias de API fixo e um contexto inicial de 32K.

llama serve \
  -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q4_K_S \
  -a muse-spark-open \
  -c 32768 \
  -np 1 \
  --chat-template-kwargs '{"reasoning_effort":"low"}'

Confirme que o servidor GGUF está acessível em seu endpoint local.

curl http://localhost:8080/v1/models

Use muse-spark-open como o alias de modelo na solicitação. Mantenha a máquina em uma rede confiável durante os testes e configure binding e autenticação antes de compartilhar o acesso. Confirme visão, áudio e comportamento de ferramentas para a conversão selecionada em vez de assumir paridade de recursos com pesos nativos. Use o Ollama apenas com um pacote de modelo do Muse Spark Open verificado e uma versão compatível.

How to Run Muse Spark Open on Multiple Mac Studios with MLX

Use dois Mac Studios M5 Ultra com 512 GB de memória unificada cada, ou quatro com 256 GB cada. Esta é uma configuração distribuída, não uma instalação comum em MacBook.

As instruções oficiais de implantação com MLX exigem macOS 26.2 ou posterior, MLX 0.30.1 ou posterior, RDMA habilitado em cada Mac, links Thunderbolt 5 diretos entre cada par de Macs e SSH sem senha a partir do host primário. Cada host precisa de espaço em disco para o checkpoint NVFP4 completo.

Instale mlx-lm em cada host. Use mlx.distributed_config e o guia distribuído do MLX para gerar hostfile.json com os endereços IP Thunderbolt e dispositivos RDMA de cada máquina. Verifique o acesso SSH e a configuração de RDMA antes de iniciar.

Inicie o servidor MLX compatível com OpenAI distribuído a partir do Mac primário.

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080

Verifique o endpoint a partir do Mac primário com curl http://localhost:8080/v1/models. Reutilize o identificador de modelo retornado para uma solicitação de chat curta. Mantenha o serviço em uma rede confiável e adicione autenticação antes de compartilhar o acesso.

Which Muse Spark Open Checkpoint Should You Choose?

Comece com NVFP4 em um servidor Blackwell suportado quando sua memória e interconnect corresponderem à receita nativa. Use BF16 quando a referência em precisão total for necessária e você tiver capacidade. Escolha uma conversão GGUF específica para o llama.cpp somente após verificar seu tamanho real de arquivo e a qualidade de saída. Para a rota multi-Mac documentada, use o checkpoint NVFP4 compatível com MLX.

Evite escolher apenas pelo menor download. Compare o sucesso das suas tarefas, a completude das respostas, a latência e o uso de memória. Mantenha a revisão do repositório exata e o build do runtime no registro de implantação para que os resultados possam ser reproduzidos.

Muse Spark Open: vLLM vs SGLang vs llama.cpp vs MLX

Escolha um runtime usando seu hardware existente e a receita específica do modelo. vLLM se adequa a servidores de aceleradores suportados; MLX cobre a configuração multi-Mac documentada. A Meta também documenta o llama.cpp com checkpoints GGUF. Valide o checkpoint e o backend escolhidos antes de estimar taxa de transferência ou trocar de runtime.

How Do You Optimize a Local Muse Spark Open Deployment?

Increase context gradually

Use um contexto limitado no primeiro lançamento e aumente-o apenas quando a carga de trabalho precisar de mais histórico. Monitore o prefill e a memória conforme o comprimento de entrada cresce. Um modelo que suporta janela de 1M tokens não garante que toda configuração de hardware possa reservar essa capacidade com concorrência útil.

Tune one feature at a time

Meça o servidor base antes de habilitar cache de prefixo, decodificação especulativa ou layouts distribuídos avançados. Repita os mesmos prompts e padrão de tráfego após cada mudança. Mantenha mudanças que melhorem a latência ou a taxa de transferência de tarefas concluídas sem prejudicar a qualidade da saída.

Keep storage and runtime versions predictable

Coloque pesos e cache em armazenamento rápido persistente, separe startup a frio de requisições aquecidas e fixe digests de imagem validados. Registre tipo de acelerador, revisão do checkpoint, build do runtime, configurações de parser, limite de contexto e concorrência junto com as medições.

Monitor completed work

Verifique a correção antes da velocidade. Comece com uma solicitação de texto curta e confirme que o servidor retorna uma resposta completa. Depois teste uma chamada de ferramenta inofensiva e uma solicitação de imagem se o runtime escolhido as suportar. Registre versões de software, contagem de GPUs, checkpoint, comprimento de entrada, orçamento de saída e concorrência para cada medição local.

Aumente gradualmente o comprimento do prompt e a concorrência, observando a latência do primeiro token, respostas concluídas e pico de memória. Estas são medições de validação local; este guia não afirma taxa de transferência medida ou pontos de equilíbrio de hardware.

How Can You Use Muse Wonder API in CometAPI Instead of Self-Hosting?

Se um servidor multi-GPU ou uma configuração Mac distribuída for impraticável, você pode usar a Muse Wonder API na CometAPI como uma alternativa hospedada de modelo Meta. Este não é um endpoint de API para o checkpoint do Muse Spark Open: o ID do modelo do gateway é muse-wonder, enquanto Muse Spark Open se refere a pesos baixáveis lançados separadamente. Não transfira resultados de benchmark do Muse Spark Open ou alegações exatas de recursos do modelo para o Muse Wonder.

Endpoint, model identity, and authentication

Use a base HTTPS https://api.cometapi.com/v1, POST /chat/completions, autenticação Bearer e o identificador de modelo muse-wonder. Consulte a documentação de integração da CometAPI para detalhes de autenticação.

export COMETAPI_KEY="your_cometapi_api_key"
 
curl -X POST "https://api.cometapi.com/v1/chat/completions" \
  -H "Authorization: Bearer $COMETAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "muse-wonder",
    "messages": [{"role":"user","content":"Explain expert parallelism briefly."}],
    "stream": false
  }'

Uma resposta bem-sucedida deve incluir uma resposta em choices[0].message.content. A solicitação ilustra a rota documentada da CometAPI; não é evidência de que Wonder e Spark Open sejam o mesmo modelo.

Python client example

import os
from openai import OpenAI
 
client = OpenAI(
    api_key=os.environ["COMETAPI_KEY"],
    base_url="https://api.cometapi.com/v1",
    timeout=120.0,
)
result = client.chat.completions.create(
    model="muse-wonder",
    messages=[{"role": "user", "content": "Summarize the deployment tradeoffs."}],
)
print(result.choices[0].message.content)

What inputs and pricing does the alternative support?

A Meta documenta entrada de texto, imagem, vídeo, áudio e PDF para o Muse Wonder nativo, com saída em texto. O suporte do gateway para cada formato de mídia e esquema de mensagens deve ser validado separadamente; os exemplos acima começam deliberadamente com texto. O guia da Muse Wonder API na CometAPI fornece o seguinte instantâneo de preços publicados: US$ 3,20 por milhão de tokens de entrada não cacheados e US$ 16,00 por milhão de tokens de saída. Ele não estabelece uma tarifa de entrada cacheada na CometAPI. Verifique a tarifa aplicada à sua conta antes do uso em produção.

A essas taxas citadas, 100.000 tokens de entrada não cacheados mais 50.000 tokens de saída custariam aproximadamente US$ 1,12 em cobranças de tokens do modelo (0,1 × US$ 3,20 + 0,05 × US$ 16,00), excluindo outras possíveis taxas. Por contraste, custos de hosting local dependem de aquisição ou aluguel de GPUs, energia, utilização, armazenamento, engenharia e manutenção. Este é um exemplo de precificação, não um benchmark de custo por tarefa medido.

O hosting próprio oferece controle sobre residência de dados, configuração do runtime e potencialmente alta utilização previsível. APIs hospedadas evitam comprar aceleradores, manter clusters com paralelismo de especialistas e criar tolerância a falhas. O ponto de equilíbrio depende da carga de trabalho: um assistente interno pouco usado geralmente tem economia diferente de uma frota de agentes de codificação altamente utilizada.

Common Muse Spark Open Local Deployment Problems

Separate startup failures from request failures

Para falhas de startup, verifique acesso ao repositório, visibilidade da GPU, suporte à arquitetura e alocação de memória nessa ordem. Se o servidor estiver pronto mas as requisições falharem, inspecione o ID do modelo, o formato da requisição, o parser e o orçamento de saída. Salve a versão do runtime e o primeiro erro relevante em vez de tentar novamente com várias alterações de flags não relacionadas.

Conclusion

Se você tem um servidor Blackwell suportado, comece com NVFP4 e uma receita oficial de implantação com vLLM, valide um contexto de serving modesto e escale o paralelismo após coletar suas próprias medições de latência e sucesso de tarefas. Se você trabalha totalmente no ecossistema Apple, a opção de desktop suportada é uma implantação MLX com vários Mac Studios M5 Ultra, não uma instalação convencional em laptop. Para equipes sem essa infraestrutura, use um provedor de inferência hospedada mantendo explícitos a identidade do modelo e os pressupostos de preço.

FAQ

How can I restart a Muse Spark Open download after an interruption?

Execute novamente hf download com o mesmo repositório e diretório local. Mantenha os arquivos baixados e o cache para que o cliente possa reutilizar o conteúdo concluído. Confirme que a autenticação ainda funciona e que resta espaço em disco suficiente antes de tentar novamente; excluir todo o diretório pode forçar outra transferência grande.

What happens to Muse Spark Open conversations after a server restart?

Trate o endpoint HTTP de inferência como sem estado, a menos que seu aplicativo persista explicitamente o histórico da conversa. Salve as mensagens e os resultados de ferramentas necessários para reconstruir a conversa e envie-os novamente após a reinicialização. Um cache persistente de download do modelo preserva arquivos de pesos, não as conversas do seu aplicativo.

How do I keep Muse Spark Open reasoning settings consistent?

Defina explicitamente o esforço de raciocínio suportado na requisição do cliente em vez de depender de padrões. Registre esse valor com a revisão do modelo, o template de chat e a versão do runtime ao comparar respostas. Se o comportamento mudar após uma atualização, verifique essas configurações antes de atribuir a diferença ao checkpoint.

How can several applications share a local Muse Spark Open endpoint?

Aponte cada cliente para a mesma base compatível com OpenAI e o identificador de modelo retornado por /v1/models. Adicione autenticação, limites de requisição e monitoramento antes de compartilhá-lo com mais usuários. Teste requisições simultâneas e defina comportamento de fila ou timeout antes de tratar uma única requisição bem-sucedida como garantia de capacidade.