Bouwen met CometAPIHeb je één API voor meerdere modellen nodig?Test de workflow in Playground en maak daarna een API-sleutel aan wanneer het model en de kosten passen bij je use case.
Rol Muse Spark Open lokaal uit met vLLM, SGLang, llama.cpp of MLX. Vergelijk hardware, kies gewichten, test de API en los problemen bij het serveren op.
Deon GoodwinOnderzoeksteam voor AI-modellen en API
Muse Spark Open lokaal draaien is mogelijk, maar het gaat om een grootschalige deployment in plaats van een typische single-GPU-setup. Door Meta gedocumenteerde configuraties omvatten vier NVIDIA B300-GPU’s voor NVFP4, acht B300-GPU’s voor BF16, of een gedistribueerde MLX-setup met meerdere M5 Ultra Mac Studios.
Voor de meeste ontwikkelaars is de eerste stap het matchen van de checkpoint met een ondersteunde combinatie van hardware en inference-runtime. Begin met een conservatieve contextlengte, verifieer dat de server volledige responses teruggeeft, en meet het geheugengebruik voordat je de context of de gelijktijdigheid verhoogt. Als je geen toegang hebt tot geschikte hardware, kan een gehoste inference-API praktischer zijn, zoals CometAPI’s Muse Spark .
Key Takeaways
Muse Spark Open heeft in totaal 816B parameters en ongeveer 42B actief per token; de volledige expertbank moet nog steeds opslag en geheugen hebben.
Gecontroleerd op duidelijkheid, bronvermelding en actuele API-terminologie.
Kies NVFP4 of BF16 op basis van checkpointgrootte, acceleratorgeheugen, interconnect en serving-overhead.
Het NVIDIA-voorbeeld gebruikt de huidige vier-B300 NVFP4 vLLM-configuratie; verifieer je exacte hardware en runtime voordat je start.
De Apple-route vereist meerdere M5 Ultra Mac Studios en RDMA via directe Thunderbolt 5-verbindingen.
Verifieer het model-endpoint, de voltooiing van responses en het geheugengebruik voordat je de context verhoogt of gebruikers toevoegt.
What Is Muse Spark Open?
Muse Spark Open is de release met downloadbare gewichten van Meta’s Muse Spark-familie. In tegenstelling tot een conventionele dense transformer routeert het sparse MoE-ontwerp elke token door een subset van experts, wat frontier-schaalcapaciteit ondersteunt met een kleinere actieve rekenvoetafdruk. Meta’s releaseaankondiging beschrijft het als native multimodaal en geoptimaliseerd voor meerstaps coding- en agentische workflows.
Het model accepteert tekst, afbeeldingen, audio en video en produceert tekst; de beschikbaarheid van features hangt nog steeds af van de serving-runtime. Het wordt gedistribueerd onder de Muse Model License met gebruiksbeperkingen. Controleer de repositoryvoorwaarden voor deployment en beoordeel onomkeerbare acties in agentworkflows.
Muse Model License; gebruiksbeperkingen van toepassing
How Does Muse Spark Open Perform?
Kwaliteitsbenchmarks helpen om vast te stellen of het model evaluatie waard is; ze vertellen niet hoe snel je lokale server zal draaien. De onderstaande cijfers zijn door Meta gerapporteerde capaciteitsresultaten, geen metingen van de deploymentcommando’s in deze gids.
Benchmark (Meta-resultaten)
Muse Spark Open (xhigh)
Voorwaarde
JobBench
61.8
Agent-gebaseerde evaluatie
HLE-Diamond
26.1
Geen tools
SciCode
58.5
Coding-evaluatie
Terminal-Bench 2.1
76.4
Terminus 2-agent
Meta documenteert modelinstellingen, benchmarkspecifieke procedures en scoreselectie in zijn evaluatiemethodologie. Muse Spark Open gebruikt xhigh reasoning in deze resultaten. Vergelijk een lokale setup met je eigen taken, softwareversie, context en gelijktijdigheid; een lagere geserveerde context of een ander harnas verandert wat er getest wordt.
Can You Actually Run Muse Spark Open Locally?
Ja. Je kunt Muse Spark Open lokaal draaien als je systeem aan de vereisten van checkpoint, accelerator en inference-runtime voldoet. De gedocumenteerde routes omvatten NVIDIA GPU-servers en gedistribueerde Apple Silicon-systemen; een compatibele GGUF-conversie biedt een andere optie voor machines met voldoende adresseerbaar geheugen. Meta’s officiële Muse Spark Open model card en de Hugging Face-deploymentgids beschrijven de vrijgegeven gewichten en runtime-specifieke setup. Een standaard consumentenlaptop kan de volledige native checkpoint niet in het geheugen houden.
Wijs hardware toe met de volledige checkpointgrootte plus marge voor serving. Lange prompts verhogen de KV-cachedruk, en ondersteunde aantallen GPU’s hangen af van de runtime en accelerator. De configuratie met vier GPU’s voor NVFP4 is geen garantie dat willekeurig welke vier Blackwell-kaarten elke contextlengte kunnen dienen.
Een private GPU-server is de route voor native gewichten. Meerdere Mac Studios met veel geheugen vormen een aparte ondersteunde route. Consumenten-desktops vereisen een compatibele gequantiseerde build en zorgvuldige capaciteitscontroles; een grote SSD kan niet als vervanging dienen voor snel inferentiegeheugen.
Which Checkpoint Should You Choose?
Kies een checkpoint voordat je downloadt. Meta publiceert BF16- en NVFP4-native checkpoints, maar dit zijn geen universele genrecommendaties voor elk platform. De gedocumenteerde NVIDIA Blackwell-routes gebruiken BF16 of NVFP4; AMD Instinct-routes gebruiken BF16 of AMD-specifieke MXFP4/FP8-checkpoints; Intel Xeon 6 gebruikt een INT4-configuratie; en de gedocumenteerde Apple Silicon-route gebruikt de NVFP4-checkpoint met MLX. Selecteer de checkpoint die door je exacte accelerator en inference-runtime wordt ondersteund, volgens Meta’s checkpointgids en platformspecifieke deploymentinstructies. GGUF-repositories bieden een andere verpakking en quantisatiepad voor llama.cpp. Controleer runtime-compatibiliteit en modaliteitsondersteuning voor de exacte bestanden die je selecteert.
Formaat (native checkpointgids)
Gewichtsvoetafdruk
Deploymentdoel
BF16 native
Ongeveer 1,65 TB
Full-precision referentie; grote acceleratorservers
NVFP4 native
Ongeveer 537 GB
Ondersteunde Blackwell-serving of gedistribueerde MLX
Dit zijn gewichtsvoetafdrukken, geen volledige geheugenbudgetten voor serving. Laat ruimte voor cache, activaties, het besturingssysteem en runtime-allocaties. Een conversie met lagere bitdiepte kan opslag verkleinen maar kwaliteit of doorvoer veranderen; test die trade-offs op je eigen prompts.
How to Download Muse Spark Open
Begin met Python 3.10 of later, persistente opslag en de officiële NVFP4-repository. Bekijk de licentie en voltooi eventuele toegangsvereisten die aan je account worden getoond. De BF16-checkpoint is een aparte repository. De onderstaande download slaat een lokale kopie op; het latere Docker-voorbeeld gebruikt een persistente Hugging Face-cache, dus het kan een andere kopie downloaden tenzij je expliciet local-path loading configureert.
Download de NVFP4-checkpoint naar persistente lokale opslag.
Reken op honderden gigabytes aan overdracht en extra ruimte voor tijdelijke bestanden. Als de download HTTP 401/403 retourneert, bevestig repositorytoegang en authenticatie voordat je de inference-stack wijzigt. Vermijd het kopiëren van een token naar gepubliceerde shellgeschiedenis of screenshots.
How to Deploy Muse Spark Open with vLLM
Gebruik vLLM wanneer je een OpenAI-compatibel endpoint wilt op een ondersteunde acceleratorserver. Meta documenteert nu een startconfiguratie met vier B300’s voor NVFP4. Het onderstaande lanceervoorbeeld volgt die topologie, verlaagt de geserveerde context naar 128K en laat optionele speculative decoding uitgeschakeld voor de eerste validatieronde.
Check the prerequisites
Bereid een Linux-server voor met vier compatibele B300-GPU’s, de bijpassende NVIDIA-driver, Docker, NVIDIA Container Toolkit en voldoende persistente opslag voor gewichten en cache. Fixeer GPU-zichtbaarheid binnen containers voordat je het model downloadt. Voer de Bash-voorbeelden uit in een Bash-shell.
Controleer de host, Docker en GPU-toegang binnen een CUDA-container.
nvidia-smi
docker --version
docker run --rm --gpus all nvidia/cuda:12.8.1-base-ubuntu22.04 nvidia-smi
Set the Hugging Face token
Als repositorytoegang authenticatie vereist, geef je token door via de omgeving. De volgende prompt verbergt het token tijdens het typen; plak geen inloggegevens in gedeelde commando’s of gepubliceerde logs.
Lees een Hugging Face-token zonder echo.
read -rsp "Hugging Face token: " HF_TOKEN
echo
export HF_TOKEN
Pull the model-specific container
Haal de vLLM-image voor Muse Spark Open op.
docker pull vllm/vllm-openai:muse-spark-open
Gebruik de actuele Meta vLLM-configuratie met een Muse-capable build. Een generieke oudere image herkent mogelijk de architectuur of parser niet. Sla de imagedigest op na een succesvolle test zodat latere deployments dezelfde build gebruiken.
Launch the NVFP4 server
Start een vLLM-server met vier GPU’s en een servinglimiet van 128K.
Dit is een startconfiguratie voor de opgegeven topologie, geen garantie dat willekeurig welke vier GPU’s de checkpoint kunnen dienen. Laat de eerste download, het laden van het model en de compilatie afronden. Behoud de cache tussen herstarts. Dit commando haalt op uit de repository in de aangekoppelde cache; het hergebruikt niet automatisch de aparte --local-dir-download hierboven.
Test the local endpoint
Lijst het geserveerde model en vraag om een kort antwoord.
Gebruik de identifier die door /v1/models wordt geretourneerd als die verschilt. Controleer zowel het eindantwoord als finish_reason: het bereiken van de tokenlimiet kan redeneren afkappen voordat een bruikbaar antwoord verschijnt. Houd binding op localhost voor initiële tests en voeg toegangscontrole toe voor extern gebruik.
Connect a Python application
Installeer de Python-client die door het voorbeeld wordt gebruikt.
EMPTY is slechts een placeholder voor een lokale server zonder API-keys. Gebruik de geconfigureerde inloggegevens als je authenticatie inschakelt. Noteer de geserveerde model-ID en de requestinstellingen bij het integreren van agents.
How to Deploy Muse Spark Open with SGLang
SGLang is een andere ondersteunde optie voor serving met native gewichten. De Muse Spark Open-cookbook biedt hardwarespecifieke configuratie en tuning. Selecteer de NVIDIA-image voor B300; AMD en Intel gebruiken andere images en recepten.
Prepare the model-specific image
Haal de NVIDIA SGLang-image voor Muse Spark Open op.
docker pull lmsysorg/sglang:dev-muse-spark-open
Start the four-B300 NVFP4 server
De volgende basislancering past de native NVFP4-instellingen aan, met speculative decoding en hiërarchische caching uitgelaten. Schakel die features pas in nadat het basis-endpoint werkt en de geheugenmarge is gemeten.
Start SGLang met viervoudige tensor- en expertparallellisme.
Controleer de modellijst voordat je het chatverzoek op poort 30000 hergebruikt.
curl http://localhost:30000/v1/models
Stuur dezelfde korte chattest die voor vLLM is gebruikt naar poort 30000, met de model-ID die hier wordt geretourneerd. Controleer opnieuw voltooiing van het eindantwoord en een onschuldige tool call voordat je een coding-agent draait.
How to Run Muse Spark Open with llama.cpp
De ggml-org GGUF-repository biedt een aparte conversieroute. Bekijk de gekozen bestanden, beschikbare RAM/VRAM en de huidige runtime-ondersteuning voordat je een download start. GGUF-beschikbaarheid betekent niet dat een 816B-model op een gewone laptop past.
Install a current llama.cpp build
Installeer de Llama-app-binary op een ondersteunde macOS- of Linux-host.
curl -LsSf https://llama.app/install.sh | sh
Beoordeel installatiescripts voordat je ze uitvoert en gebruik platformspecifieke instructies als je omgeving shellinstallers blokkeert. De onderstaande commando’s gebruiken de huidige llama-toepassingsinterface; oudere binaries met de naam llama-server gebruiken een andere CLI.
Start the GGUF server
Serve de Q4_K_S GGUF met een vaste API-alias en een initiële context van 32K.
Bevestig dat de GGUF-server bereikbaar is op zijn lokale endpoint.
curl http://localhost:8080/v1/models
Gebruik muse-spark-open als de requestmodelalias. Houd de machine op een vertrouwd netwerk tijdens het testen en configureer binding en authenticatie voordat je toegang deelt. Bevestig vision-, audio- en toolgedrag voor de geselecteerde conversie in plaats van feature-pariteit met native gewichten te veronderstellen. Gebruik Ollama alleen met een geverifieerd Muse Spark Open-modelpakket en een compatibele versie.
How to Run Muse Spark Open on Multiple Mac Studios with MLX
Gebruik twee M5 Ultra Mac Studios met elk 512 GB verenigd geheugen of vier met elk 256 GB. Dit is een gedistribueerde setup, geen gewone MacBook-installatie.
De officiële MLX-deploymentinstructies vereisen macOS 26.2 of later, MLX 0.30.1 of later, RDMA ingeschakeld op elke Mac, directe Thunderbolt 5-verbindingen tussen elk paar Macs en wachtwoordloze SSH vanaf de primaire host. Elke host heeft schijfruimte nodig voor de volledige NVFP4-checkpoint.
Installeer mlx-lm op elke host. Gebruik mlx.distributed_config en de MLX-distributedgids om hostfile.json te genereren met de Thunderbolt-IP-adressen en RDMA-apparaten van elke machine. Controleer SSH-toegang en de RDMA-configuratie voordat je start.
Start de gedistribueerde OpenAI-compatibele MLX-server vanaf de primaire Mac.
Verifieer het endpoint vanaf de primaire Mac met curl http://localhost:8080/v1/models. Hergebruik de geretourneerde modelidentifier voor een korte chataanvraag. Houd de service op een vertrouwd netwerk en voeg authenticatie toe voordat je toegang deelt.
Which Muse Spark Open Checkpoint Should You Choose?
Begin met NVFP4 op een ondersteunde Blackwell-server wanneer het geheugen en de interconnect overeenkomen met het native recept. Gebruik BF16 wanneer de full-precision referentie vereist is en je de capaciteit hebt. Kies een specifieke GGUF-conversie voor llama.cpp pas nadat je de daadwerkelijke bestandsgrootte en outputkwaliteit hebt gecontroleerd. Voor de gedocumenteerde multi-Mac-route gebruik je de MLX-compatibele NVFP4-checkpoint.
Vermijd kiezen uitsluitend op basis van de kleinste download. Vergelijk je eigen taaksucces, voltooiing van responses, latentie en geheugengebruik. Noteer de exacte repositoryrevisie en runtime-build in het deploymentrecord zodat resultaten reproduceerbaar zijn.
Muse Spark Open: vLLM vs SGLang vs llama.cpp vs MLX
Draagbare inferentie met ondersteunde GGUF-checkpoints
Flexibel ecosysteem voor lokale inferentie
Bevestig checkpoint, beschikbaar RAM/VRAM en gemeten snelheid voor de gekozen backend
Kies een runtime op basis van je bestaande hardware en het modelspecifieke recept. vLLM past bij ondersteunde acceleratorservers; MLX dekt de gedocumenteerde multi-Mac-setup. Meta documenteert ook llama.cpp met GGUF-checkpoints. Valideer de gekozen checkpoint en backend voordat je doorvoer inschat of runtimes wisselt.
How Do You Optimize a Local Muse Spark Open Deployment?
Increase context gradually
Gebruik een begrensde context voor de eerste lancering en verhoog die alleen wanneer de werkbelasting meer geschiedenis nodig heeft. Monitor prefilltijd en geheugen naarmate de invoerlengte groeit. Dat een model een venster van 1M tokens ondersteunt, garandeert niet dat elke hardwareconfiguratie die capaciteit bij nuttige gelijktijdigheid kan reserveren.
Tune one feature at a time
Meet de basiserver voordat je prefix caching, speculative decoding of geavanceerde gedistribueerde layouts inschakelt. Herhaal dezelfde prompts en verkeerpatroon na elke wijziging. Behoud wijzigingen die latentie of doorvoer van voltooide taken verbeteren zonder de outputkwaliteit te schaden.
Keep storage and runtime versions predictable
Plaats gewichten en cache op persistente snelle opslag, scheid cold startup van warme requests en pin gevalideerde imagedigests. Noteer acceleratortype, checkpointrevisie, runtime-build, parsersettings, contextlimiet en gelijktijdigheid bij de metingen.
Monitor completed work
Controleer correctheid vóór snelheid. Begin met een korte tekstaanvraag en bevestig dat de server een volledig antwoord retourneert. Test dan een onschuldige tool call en een beeldaanvraag als de gekozen runtime die ondersteunt. Noteer softwareversies, aantal GPU’s, checkpoint, invoerlengte, outputbudget en gelijktijdigheid voor elke lokale meting.
Metric
Waarom het ertoe doet
Meetidee
Time to first token
Interactieve responsiviteit
p50/p95 uit lokale requesttraces
Decode speed
Snelheid van voortgezette generatie
Outputtokens gedeeld door decodetijd
Throughput
Capaciteit voor gelijktijdige gebruikers
Voltooide requests of tokens per seconde
GPU/hostgeheugen
Faillurerisico en densiteit
Toegewezen en piekgeheugen
Task success rate
Bruikbaarheid op toepassingsniveau
Zelfde gelabelde coding-/toolset
Cost per completed task
Infrastructuureconomie
Hardwareafschrijving + stroom + engineering
Verhoog promptlengte en gelijktijdigheid geleidelijk, en let op first-token-latentie, voltooide responses en piekgeheugen. Dit zijn lokale validatiemetingen; deze gids claimt geen gemeten doorvoer of hardware break-even-cijfers.
How Can You Use Muse Wonder API in CometAPI Instead of Self-Hosting?
Als een multi-GPU-server of een gedistribueerde Mac-setup onpraktisch is, kun je Muse Wonder API in CometAPI gebruiken als een gehost alternatief voor Meta-modellen. Dit is geen API-endpoint voor de Muse Spark Open-checkpoint: de gatewaymodel-ID is muse-wonder, terwijl Muse Spark Open verwijst naar afzonderlijk vrijgegeven downloadbare gewichten. Draag geen Muse Spark Open-benchmarkresultaten of exacte model-featureclaims over naar Muse Wonder.
Endpoint, model identity, and authentication
Gebruik de HTTPS-base-URL https://api.cometapi.com/v1, POST /chat/completions, Bearer-authenticatie en de modelidentifier muse-wonder. Zie de CometAPI-integratiedocumentatie voor authenticatiedetails.
Een succesvolle response moet een antwoord bevatten in choices[0].message.content. De request illustreert de gedocumenteerde CometAPI-route; het is geen bewijs dat Wonder en Spark Open hetzelfde model zijn.
Python client example
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["COMETAPI_KEY"],
base_url="https://api.cometapi.com/v1",
timeout=120.0,
)
result = client.chat.completions.create(
model="muse-wonder",
messages=[{"role": "user", "content": "Summarize the deployment tradeoffs."}],
)
print(result.choices[0].message.content)
What inputs and pricing does the alternative support?
Meta documenteert tekst-, beeld-, video-, audio- en PDF-input voor native Muse Wonder, met tekstoutput. Gateway-ondersteuning voor elk mediaformaat en berichtschema moet afzonderlijk worden gevalideerd; de bovenstaande voorbeelden beginnen bewust met tekst. De CometAPI Muse Wonder API-gids biedt de volgende gepubliceerde prijssnapshot: $3.20 per miljoen ongecachete inputtokens en $16.00 per miljoen outputtokens. Het stelt geen CometAPI-tarief voor gecachete input vast. Controleer het tarief dat op je account wordt toegepast vóór productiegebruik.
Bij die genoemde tarieven zouden 100.000 ongecachete inputtokens plus 50.000 outputtokens ongeveer $1.12 kosten aan model-tokenkosten (0,1 × $3.20 + 0,05 × $16.00), exclusief andere mogelijke kosten. Daarentegen zijn lokale hostingkosten afhankelijk van de aanschaf of huur van GPU’s, stroom, benutting, opslag, engineering en onderhoud. Dit is een prijsvoorbeeld, geen gemeten benchmark voor kosten per taak.
Zelf-hosting biedt controle over dataresidency, runtimeconfiguratie en mogelijk voorspelbare hoge benutting. Gehoste API’s voorkomen de aanschaf van accelerators, het onderhouden van expert-parallelclusters en het engineeren van fouttolerantie. Het breakevenpunt is werkbelastingafhankelijk: een licht gebruikte interne assistent heeft doorgaans andere economie dan een zwaar gebruikte coding-agentvloot.
Common Muse Spark Open Local Deployment Problems
Symptoom
Waarschijnlijke oorzaak
Aanbevolen check
HF 401 / 403
Gated gewichten of ongeldig token
Accepteer voorwaarden; authenticeer en controleer tokenrechten
Out of memory bij startup
Checkpoint plus runtime overschrijden capaciteit
Valideer formaat, aantal GPU’s, expertparallellisme en cache
Niet-ondersteunde architectuur / kernel
Verkeerde GPU of runtime-image
Gebruik de officiële NVIDIA/AMD-build voor je accelerator
Gebruik de bijpassende Muse tool-call-parser en modelversie
Separate startup failures from request failures
Maak voor opstartfouten onderscheid tussen repositorytoegang, GPU-zichtbaarheid, architectuurondersteuning en geheugenallocatie, in die volgorde. Als de server gereed is maar requests falen, inspecteer dan de model-ID, requestformaat, parser en outputbudget. Sla de runtimeversie en de eerste relevante fout op in plaats van met meerdere niet-gerelateerde flags te blijven proberen.
Conclusion
Als je een ondersteunde Blackwell-server hebt, begin dan met NVFP4 en een officiële vLLM-deploymentrecept, valideer een bescheiden servingcontext en schaal parallelisme op nadat je eigen latentie- en taaksuccesmetingen zijn verzameld. Als je volledig in het Apple-ecosysteem werkt, is het ondersteunde desktopverhaal een MLX-deployment met meerdere M5 Ultra Mac Studios, niet een conventionele laptopinstallatie. Voor teams zonder deze infrastructuur gebruik je een gehoste inferenceprovider terwijl je modelidentiteit en prijsveronderstellingen expliciet houdt.
FAQ
How can I restart a Muse Spark Open download after an interruption?
Voer hf download opnieuw uit met dezelfde repository en lokale directory. Bewaar de gedownloade bestanden en cache zodat de client voltooide inhoud kan hergebruiken. Bevestig dat authenticatie nog werkt en dat er voldoende schijfruimte over is voordat je opnieuw probeert; het verwijderen van de volledige directory kan een nieuwe grote overdracht afdwingen.
What happens to Muse Spark Open conversations after a server restart?
Behandel het HTTP-inference-endpoint als stateless tenzij je applicatie expliciet gespreksgeschiedenis persist. Sla de berichten en toolresultaten op die nodig zijn om het gesprek te reconstrueren, en stuur ze opnieuw na een herstart. Een persistente modeldownloadcache bewaart gewichtsbestanden, niet de gesprekken van je applicatie.
How do I keep Muse Spark Open reasoning settings consistent?
Stel de ondersteunde reasoning effort expliciet in in de clientrequest in plaats van op defaults te vertrouwen. Noteer die waarde samen met de modelrevisie, chatt-template en runtimeversie bij het vergelijken van responses. Als gedrag verandert na een upgrade, controleer die instellingen voordat je het verschil aan de checkpoint toeschrijft.
How can several applications share a local Muse Spark Open endpoint?
Laat elke client wijzen naar dezelfde OpenAI-compatibele base-URL en de modelidentifier die door /v1/models wordt geretourneerd. Voeg authenticatie, verzoeklimieten en monitoring toe voordat je het met meer gebruikers deelt. Test gelijktijdige requests en definieer queueing- of time-outgedrag voordat je een succesvolle enkele request als capaciteitsgarantie behandelt.
