Byg med CometAPIHar du brug for én API til flere modeller?Test workflowet i Playground, og opret derefter en API-nøgle, når model og pris passer til dit brugsscenarie.
At køre Muse Spark Open lokalt er muligt, men det er en storskalaudrulning frem for et typisk single-GPU-setup. Metas dokumenterede konfigurationer omfatter fire NVIDIA B300 GPU’er til NVFP4, otte B300 GPU’er til BF16 eller et distribueret MLX-setup med flere M5 Ultra Mac Studios.
For de fleste udviklere er første skridt at matche checkpointet med en understøttet kombination af hardware og inferens-runtime. Start med en konservativ kontekstlængde, verificer at serveren returnerer komplette svar, og mål hukommelsesforbrug før du øger kontekst eller samtidighed. Hvis du ikke har adgang til egnet hardware, er et hosted inferens-API ofte mere praktisk, såsom CometAPI’s Muse Spark.
Key Takeaways
Muse Spark Open har 816B totale parametre og omkring 42B aktive pr. token; hele ekspertbanken kræver stadig lager og hukommelse.
Vælg NVFP4 eller BF16 baseret på checkpointstørrelse, acceleratorhukommelse, interconnect og serving-overhead.
NVIDIA-eksemplet bruger den aktuelle fire-B300 NVFP4 vLLM-konfiguration; verificer din præcise hardware og runtime før start.
Gennemgået for klarhed, kildeangivelse og aktuel API-terminologi.
Apple-ruten kræver flere M5 Ultra Mac Studios og RDMA over direkte Thunderbolt 5-forbindelser.
Verificer modelendepunkt, svarets fuldstændighed og hukommelsesforbrug, før du øger kontekst eller tilføjer brugere.
What Is Muse Spark Open?
Muse Spark Open er den nedlæselige-vægte-udgivelse i Metas Muse Spark-familie. I modsætning til en konventionel tæt transformer, ruter dens sparse MoE-design hver token gennem et undersæt af eksperter, hvilket giver kapacitet i frontklassen med et mindre aktivt beregningsaftryk. Metas udgivelsesmeddelelse beskriver den som nativt multimodal og optimeret til flertrins kodning og agent-baserede workflows.
Modellen accepterer tekst, billeder, lyd og video og producerer tekst; funktionstilgængelighed afhænger stadig af serving-runtime. Den distribueres under Muse Model License med brugsbegrænsninger. Tjek repository-betingelserne før udrulning og gennemgå irreversible handlinger i agent-workflows.
Kvalitetsbenchmarks hjælper med at afgøre, om modellen er værd at evaluere; de fortæller ikke, hvor hurtigt din lokale server vil køre. Tallene nedenfor er Meta-rapporterede kapabilitetsresultater, ikke målinger fra de udrulningskommandoer, der vises i denne guide.
Benchmark (Meta results)
Muse Spark Open (xhigh)
Condition
JobBench
61.8
Agentic evaluation
HLE-Diamond
26.1
No tools
SciCode
58.5
Coding evaluation
Terminal-Bench 2.1
76.4
Terminus 2 agent
Meta dokumenterer modelindstillinger, benchmark-specifikke procedurer og valg af score i sin evaluation methodology. Muse Spark Open bruger xhigh reasoning i disse resultater. Sammenlign en lokal opsætning med dit eget task-set, softwareversion, kontekst og samtidighed; en lavere served kontekst eller en anden harness ændrer, hvad der bliver testet.
Can You Actually Run Muse Spark Open Locally?
Ja. Du kan køre Muse Spark Open lokalt, hvis dit system matcher kravene til checkpoint, accelerator og inferens-runtime. De dokumenterede ruter omfatter NVIDIA GPU-servere og distribuerede Apple Silicon-systemer; en kompatibel GGUF-konvertering giver en anden mulighed for maskiner med nok adresserbar hukommelse. Metas officielle Muse Spark Open model card og Hugging Face deployment guide beskriver de frigivne vægte og runtime-specifik opsætning. En almindelig forbrugerlaptop kan ikke holde hele det native checkpoint i hukommelsen.
Hukommelseskapacitet er den første begrænsning. Aktive parametre beskriver beregning pr. token, ikke hele ekspertvægtens aftryk. Metas checkpoint guide angiver cirka 537 GB for NVFP4 og 1.65 TB for BF16, eksklusive KV-cache, aktiveringer og runtime-overhead.
Platform
Official practical route
Key limitation
NVIDIA Blackwell
4 × B300 for the NVFP4 TP4/EP4 recipe; 8 × B300 for BF16
Brug den validerede opskrift for den præcise GPU, runtime og checkpoint; eksemplet nedenfor bruger otte GPU’er
AMD Instinct
8 × MI350X/MI355X; supported formats include MXFP4/FP8/BF16
Brug ROCm-bevidste vLLM-opskrifter
Apple Silicon
2 × 512 GB eller 4 × 256 GB M5 Ultra Mac Studios med MLX
Distribueret forenet hukommelse, ikke en enkelt laptop
Intel Xeon 6
CPU-orienteret INT4-konfiguration via SGLang
Gennemløb afviger markant fra high-end GPU’er
Consumer 16–48 GB GPUs
Ikke en praktisk fuldt GPU-resident konfiguration
Vægtaftryk overstiger GPU-hukommelse med stor margin
Allokér hardware ud fra hele checkpointstørrelsen plus serving-headroom. Lange prompts øger KV-cache-presset, og understøttede GPU-antal afhænger af runtime og accelerator. Den fire-GPU NVFP4-konfiguration er ikke et løfte om, at enhver fire Blackwell-kort kan serve enhver kontekstlængde.
En privat GPU-server er ruten for native vægte. Flere højhukommelses Mac Studios er en separat understøttet rute. Forbruger-desktops kræver et kompatibelt kvantiseret build og omhyggelige kapacitetskontroller; en stor SSD kan ikke i sig selv erstatte hurtig inferenshukommelse.
Which Checkpoint Should You Choose?
Vælg et checkpoint før download. Meta udgiver BF16- og NVFP4-native checkpoints, men disse er ikke universelle formatanbefalinger for alle platforme. De dokumenterede NVIDIA Blackwell-ruter bruger BF16 eller NVFP4; AMD Instinct-ruter bruger BF16 eller AMD-specifikke MXFP4/FP8-checkpoints; Intel Xeon 6 bruger en INT4-konfiguration; og den distribuerede Apple Silicon-rute bruger NVFP4-checkpointet med MLX. Vælg det checkpoint, der understøttes af netop din accelerator og inferens-runtime, i henhold til Metas checkpoint guide og platform-specific deployment instructions. GGUF-repositories giver en anden pakning og kvantisering til llama.cpp. Runtime-kompatibilitet og modalitetsunderstøttelse skal kontrolleres for de præcise filer, du vælger.
Format (native checkpoint guide)
Weight footprint
Deployment purpose
BF16 native
About 1.65 TB
Full-precision reference; large accelerator servers
NVFP4 native
About 537 GB
Supported Blackwell serving or distributed MLX
GGUF conversions
Varies by repository and quantization
llama.cpp-compatible experimentation; verify current file sizes
Dette er vægtaftryk, ikke komplette memory-budgetter til serving. Efterlad plads til cache, aktiveringer, operativsystem og runtime-allokeringer. En lavere-bit konvertering kan reducere lagerforbrug, samtidig med at kvalitet eller throughput ændres; test disse tradeoffs på dine faktiske prompts.
How to Download Muse Spark Open
Start med Python 3.10 eller nyere, persistent lager og det officielle NVFP4-repository. Gennemgå licensen og fuldfør eventuelle adgangskrav, der vises for din konto. BF16-checkpointet er et separat repository. Downloaden nedenfor gemmer en lokal kopi; det senere Docker-eksempel bruger en persistent Hugging Face-cache, så det kan hente en anden kopi, medmindre du eksplicit konfigurerer indlæsning fra lokal sti.
Download NVFP4-checkpointet til persistent lokal lagring.
Planlæg for hundredvis af gigabyte overførsel og yderligere plads til midlertidige filer. Hvis download returnerer HTTP 401/403, bekræft repository-adgang og autentificering, før du ændrer inferens-stakken. Undgå at kopiere et token til offentliggjort shell-historik eller skærmbilleder.
How to Deploy Muse Spark Open with vLLM
Brug vLLM, når du vil have et OpenAI-kompatibelt endepunkt på en understøttet acceleratorserver. Meta dokumenterer nu en NVFP4-startkonfiguration med fire B300. Launch-eksemplet nedenfor følger den topologi, sænker served konteksten til 128K og lader valgfri spekulativ dekodning være slået fra til den første valideringskørsel.
Check the prerequisites
Forbered en Linux-server med fire kompatible B300 GPU’er, den matchende NVIDIA-driver, Docker, NVIDIA Container Toolkit og nok persistent lager til vægte og cache. Få GPU-synlighed inde i containere på plads, før du downloader modellen. Kør Bash-eksemplerne i en Bash-shell.
Tjek host, Docker og GPU-adgang inde i en CUDA-container.
nvidia-smi
docker --version
docker run --rm --gpus all nvidia/cuda:12.8.1-base-ubuntu22.04 nvidia-smi
Set the Hugging Face token
Hvis repository-adgang kræver autentificering, videregiv dit token via miljøet. Prompten nedenfor skjuler tokenet, mens du skriver; indsæt ikke legitimationsoplysninger i delte kommandoer eller offentliggjorte logs.
Læs et Hugging Face-token uden ekko.
read -rsp "Hugging Face token: " HF_TOKEN
echo
export HF_TOKEN
Pull the model-specific container
Hent Muse Spark Open vLLM-imaget.
docker pull vllm/vllm-openai:muse-spark-open
Brug den aktuelle Meta vLLM-konfiguration med et Muse-kompatibelt build. Et generisk ældre image genkender måske ikke arkitekturen eller parseren. Gem image-digestet efter en vellykket test, så senere udrulninger bruger samme build.
Launch the NVFP4 server
Start en vLLM-server med fire GPU’er og en 128K serving-grænse.
Dette er en startkonfiguration for den angivne topologi, ikke et løfte om, at enhver fire-GPU konfiguration kan serve checkpointet. Lad første download, modelloading og kompilering fuldføre. Bevar cachen mellem genstart. Denne kommando henter fra repository’et ind i den monterede cache; den genbruger ikke automatisk den separate --local-dir-download ovenfor.
Brug identifikatoren returneret af /v1/models, hvis den afviger. Tjek både det endelige svar og finish_reason: hvis token-grænsen nås, kan det afbryde ræsonneringen før et brugbart svar. Behold localhost-bindingen til de første tests, og tilføj adgangskontrol før fjernbrug.
Connect a Python application
Installer Python-klienten, der bruges af eksemplet.
EMPTY er kun en pladsholder for en lokal server uden API-nøglehåndhævelse. Brug den konfigurerede legitimationsoplysning, hvis du aktiverer autentificering. Registrer den served model-ID og forespørgselsindstillinger, når du integrerer agenter.
How to Deploy Muse Spark Open with SGLang
SGLang er en anden understøttet servingmulighed for native vægte. Dets Muse Spark Open cookbook giver hardware-specifik konfiguration og tuning. Vælg NVIDIA-imaget til B300; AMD og Intel bruger andre images og opskrifter.
Prepare the model-specific image
Hent NVIDIA SGLang-imaget til Muse Spark Open.
docker pull lmsysorg/sglang:dev-muse-spark-open
Start the four-B300 NVFP4 server
Den følgende basale launch tilpasser de native NVFP4-indstillinger, med spekulativ dekodning og hierarkisk caching udeladt. Aktivér disse funktioner først, når basisendepunktet virker, og hukommelsesheadroom er målt.
Start SGLang med firevejstensor- og ekspert-parallelisme.
Tjek modellisten før du genbruger chat-forespørgslen på port 30000.
curl http://localhost:30000/v1/models
Send den samme korte chat-test, som blev brugt til vLLM, til port 30000, med det model-ID, der returneres her. Genkontrollér fuldført svar og et harmløst værktøjskald, før du kører en kodeagent.
How to Run Muse Spark Open with llama.cpp
GGUF-repository’et fra ggml-org giver en separat konverteringsrute. Gennemgå de valgte filer, tilgængelig RAM/VRAM og aktuel runtime-understøttelse, før du starter en download. GGUF-tilgængelighed betyder ikke, at en 816B-model passer på en almindelig laptop.
Install a current llama.cpp build
Installer Llama app-binæren på en understøttet macOS- eller Linux-host.
curl -LsSf https://llama.app/install.sh | sh
Gennemgå installationsscripts, før du kører dem, og brug de platformspecifikke instruktioner, hvis dit miljø blokerer shell-installere. Kommandoerne nedenfor bruger det aktuelle llama-applikationsinterface; ældre binærer ved navn llama-server bruger et andet CLI.
Start the GGUF server
Servér Q4_K_S-GGUF’en med et fast API-alias og en initial kontekst på 32K.
Bekræft, at GGUF-serveren er tilgængelig på sit lokale endepunkt.
curl http://localhost:8080/v1/models
Brug muse-spark-open som anmodningsmodellens alias. Hold maskinen på et betroet netværk under test, og konfigurer binding og autentificering, før du deler adgang. Bekræft vision-, lyd- og værktøjsadfærd for den valgte konvertering i stedet for at antage feature-paritet med native vægte. Brug kun Ollama med en verificeret Muse Spark Open-modelpakke og en kompatibel version.
How to Run Muse Spark Open on Multiple Mac Studios with MLX
Brug to M5 Ultra Mac Studios med 512 GB forenet hukommelse hver, eller fire med 256 GB hver. Dette er en distribueret opsætning, ikke en almindelig MacBook-installation.
De officielle MLX-udrulningsinstruktioner kræver macOS 26.2 eller nyere, MLX 0.30.1 eller nyere, RDMA aktiveret på hver Mac, direkte Thunderbolt 5-forbindelser mellem hver parring af Macs og SSH uden adgangskode fra primærværten. Hver værtsmaskine skal have diskplads til hele NVFP4-checkpointet.
Installer mlx-lm på hver vært. Brug mlx.distributed_config og MLX’ distribuerede guide til at generere hostfile.json med hver maskines Thunderbolt-IP-adresser og RDMA-enheder. Tjek SSH-adgang og RDMA-konfiguration, før du launcher.
Start den distribuerede OpenAI-kompatible MLX-server fra primær-Mac’en.
Verificér endepunktet fra primær-Mac’en med curl http://localhost:8080/v1/models. Genbrug det returnerede model-id til en kort chat-forespørgsel. Hold tjenesten på et betroet netværk, og tilføj autentificering, før du deler adgang.
Which Muse Spark Open Checkpoint Should You Choose?
Start med NVFP4 på en understøttet Blackwell-server, når dens hukommelse og interconnect matcher den native opskrift. Brug BF16, når fuldpræcisionsreference er påkrævet, og du har kapaciteten. Vælg en specifik GGUF-konvertering til llama.cpp først efter at have tjekket den faktiske filstørrelse og outputkvalitet. Til den dokumenterede multi-Mac-rute bruges det MLX-kompatible NVFP4-checkpoint.
Undgå at vælge udelukkende efter den mindste download. Sammenlign din egen task-succes, svarets fuldstændighed, latens og hukommelsesforbrug. Bevar den præcise repository-revision og runtime-build i udrulningsloggen, så resultater kan reproduceres.
Muse Spark Open: vLLM vs SGLang vs llama.cpp vs MLX
Runtime (official deployment options)
Best-fit environment
Strength
Watch-out
vLLM
NVIDIA/AMD accelerator servers
OpenAI-compatible serving; batching; parallelism
Kræver præcist model-build og GPU-understøttelse
SGLang
High-performance GPU inference
Expert parallelism; optimized serving kernels
Launch-flags afhænger af checkpoint/plugin
MLX
Multiple Apple M5 Ultra systems
Apple unified-memory optimization
Distribuerede multi-host-krav
llama.cpp
Portable inference with supported GGUF checkpoints
Flexible local inference ecosystem
Bekræft checkpoint, tilgængelig RAM/VRAM og målt hastighed for den valgte backend
Vælg en runtime efter din eksisterende hardware og model-specifik opskrift. vLLM passer til understøttede acceleratorservere; MLX dækker den dokumenterede multi-Mac-opsætning. Meta dokumenterer også llama.cpp med GGUF-checkpoints. Valider det valgte checkpoint og backend, før du estimerer throughput eller skifter runtime.
How Do You Optimize a Local Muse Spark Open Deployment?
Increase context gradually
Brug en afgrænset kontekst ved første launch, og hæv den kun, når workloaden har brug for mere historik. Overvåg prefill-tid og hukommelse, i takt med at inputlængden vokser. At en model understøtter et 1M-token-vindue garanterer ikke, at alle hardwarekonfigurationer kan reservere den kapacitet ved brugbar samtidighed.
Tune one feature at a time
Mål basiserverens ydelse, før du aktiverer præfiks-caching, spekulativ dekodning eller avancerede distribuerede layouts. Gentag de samme prompts og trafikmønstre efter hver ændring. Behold ændringer, der forbedrer latens eller gennemløb for fuldførte opgaver, uden at skade outputkvaliteten.
Keep storage and runtime versions predictable
Placer vægte og cache på persistent, hurtig lagring, adskil kold opstart fra varme forespørgsler, og pin validerede image-digests. Registrér acceleratortype, checkpointrevision, runtime-build, parserindstillinger, kontekstgrænse og samtidighed sammen med målingerne.
Monitor completed work
Tjek korrekthed før hastighed. Start med en kort tekstforespørgsel og bekræft, at serveren returnerer et komplet svar. Test derefter et harmløst værktøjskald og en billedforespørgsel, hvis den valgte runtime understøtter dem. Registrer softwareversioner, GPU-antal, checkpoint, inputlængde, outputbudget og samtidighed for hver lokal måling.
Metric
Why it matters
Measurement idea
Time to first token
Interactive responsiveness
p50/p95 fra lokale request traces
Decode speed
Speed of continued generation
Outputtokens divideret med decode-tid
Throughput
Capacity for concurrent users
Fuldførte forespørgsler eller tokens pr. sekund
GPU/host memory
Failure risk and density
Allokeret og peak-hukommelse
Task success rate
Application-level usefulness
Samme mærkede sæt for kodning/værktøjsbrug
Cost per completed task
Infrastructure economics
Hardwareafskrivning + strøm + engineering
Øg promptlængde og samtidighed gradvist, og hold øje med first-token-latens, fuldførte svar og peak-hukommelse. Dette er lokale valideringsmålinger; denne guide påstår ikke målt throughput eller hardware break-even-tal.
How Can You Use Muse Wonder API in CometAPI Instead of Self-Hosting?
Hvis en multi-GPU-server eller et distribueret Mac-setup er upraktisk, kan du bruge Muse Wonder API i CometAPI som et hosted Meta-model-alternativ. Dette er ikke et API-endepunkt for Muse Spark Open-checkpointet: gateway-model-ID’en er muse-wonder, mens Muse Spark Open refererer til særskilt frigivne nedlæselige vægte. Overfør ikke Muse Spark Open-benchmarkresultater eller præcise model-funktionspåstande til Muse Wonder.
Endpoint, model identity, and authentication
Brug HTTPS-base-URL’en https://api.cometapi.com/v1, POST /chat/completions, Bearer-autentificering og modelidentifikatoren muse-wonder. Se CometAPI integration documentation for autentificeringsdetaljer.
Et vellykket svar bør indeholde et svar i choices[0].message.content. Anmodningen illustrerer den dokumenterede CometAPI-rute; det er ikke bevis for, at Wonder og Spark Open er den samme model.
Python client example
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["COMETAPI_KEY"],
base_url="https://api.cometapi.com/v1",
timeout=120.0,
)
result = client.chat.completions.create(
model="muse-wonder",
messages=[{"role": "user", "content": "Summarize the deployment tradeoffs."}],
)
print(result.choices[0].message.content)
What inputs and pricing does the alternative support?
Meta dokumenterer tekst-, billede-, video-, lyd- og PDF-input for native Muse Wonder med tekstoutput. Gateway-understøttelse for hvert medieformat og beskedskema skal valideres separat; eksemplerne ovenfor starter bevidst med tekst. CometAPI Muse Wonder API guide giver følgende offentliggjorte prissnapshot: $3.20 pr. million ikke-cached inputtokens og $16.00 pr. million outputtokens. Den fastslår ikke en CometAPI-tarif for cached input. Tjek den sats, der gælder for din konto, før produktion.
Ved de angivne satser vil 100.000 ikke-cached inputtokens plus 50.000 outputtokens koste cirka $1.12 i model-token-gebyrer (0,1 × $3.20 + 0,05 × $16.00), eksklusive andre mulige gebyrer. Til sammenligning afhænger lokale hostingomkostninger af GPU-indkøb eller -leje, strøm, udnyttelse, lager, engineering og vedligeholdelse. Dette er et priseksempel, ikke et målt cost-per-task-benchmark.
Self-hosting giver kontrol over dataresidens, runtime-konfiguration og potentielt forudsigelig høj udnyttelse. Hosted API’er undgår at købe acceleratorer, vedligeholde ekspert-parallelle klynger og udvikle fejltolerance. Break-even-punktet afhænger af workload: en let anvendt intern assistent har normalt en anden økonomi end en tungt udnyttet kodeagentflåde.
Common Muse Spark Open Local Deployment Problems
Symptom
Likely cause
Recommended check
HF 401 / 403
Gated vægte eller ugyldigt token
Acceptér vilkår; autentificér og tjek token-tilladelser
Out of memory at startup
Checkpoint plus runtime overstiger kapacitet
Valider format, GPU-antal, ekspert-parallelisme og cache
Unsupported architecture / kernel
Forkert GPU eller runtime-image
Brug officielt NVIDIA/AMD-build til din accelerator
Server starts but requests fail
Forkert served model-ID eller parser
Forespørg /v1/models og verificér Muse-parser-flags
Very slow long prompts
Overdrevet prefill-/cache-behov
Sænk served kontekst; benchmark promptlængde
Tool calls parse incorrectly
Skabelon- eller parser-mismatch
Brug matchende Muse værktøjskald-parser og modelversion
Separate startup failures from request failures
For opstartsfejl: tjek repository-adgang, GPU-synlighed, arkitekturunderstøttelse og hukommelsesallokering i den rækkefølge. Hvis serveren er klar, men forespørgsler fejler, inspicér model-ID, forespørgselsformat, parser og outputbudget. Gem runtime-version og første relevante fejl i stedet for at prøve igen med flere ubeslægtede flagændringer.
Conclusion
Hvis du har en understøttet Blackwell-server, så begynd med NVFP4 og en officiel vLLM-udrulningsopskrift, valider en beskeden serving-kontekst, og skaler parallelisme efter at have indsamlet dine egne latens- og task-succes-målinger. Hvis du arbejder helt i Apple-økosystemet, er den understøttede desktop-historie en MLX-udrulning på flere M5 Ultra Mac Studios, ikke en konventionel laptop-installation. For teams uden denne infrastruktur, brug en hosted inferensudbyder, mens modelidentitet og prisantagelser holdes eksplicitte.
FAQ
How can I restart a Muse Spark Open download after an interruption?
Kør hf download igen med samme repository og lokale mappe. Behold de hentede filer og cachen, så klienten kan genbruge fuldført indhold. Bekræft, at autentificering stadig virker, og at der er nok diskplads tilbage, før du prøver igen; at slette hele mappen kan tvinge en ny stor overførsel.
What happens to Muse Spark Open conversations after a server restart?
Betragt HTTP-inferensendepunktet som stateless, medmindre din applikation eksplicit persisterer samtalehistorik. Gem de beskeder og værktøjsresultater, der er nødvendige for at rekonstruere samtalen, og send dem igen efter genstart. En persistent model-download-cache bevarer vægtfiler, ikke din applikations samtaler.
How do I keep Muse Spark Open reasoning settings consistent?
Angiv den understøttede ræsonneringsindsats eksplicit i klientforespørgslen i stedet for at stole på defaults. Registrér den værdi sammen med modelrevision, chat-skabelon og runtime-version, når du sammenligner svar. Hvis adfærden ændrer sig efter en opgradering, så tjek disse indstillinger, før du tilskriver forskellen checkpointet.
How can several applications share a local Muse Spark Open endpoint?
Peg hver klient mod samme OpenAI-kompatible base-URL og det model-id, der returneres af /v1/models. Tilføj autentificering, forespørgselsgrænser og overvågning, før du deler den med flere brugere. Test samtidige forespørgsler, og definér kø- eller timeout-adfærd, før du betragter en vellykket enkelt forespørgsel som en kapacitetsgaranti.
