Как запустить Muse Spark Open локально

TL;DR

Запуск Muse Spark Open локально возможен, но это развёртывание крупного масштаба, а не типичная конфигурация с одной GPU. Документированные Meta конфигурации включают четыре NVIDIA B300 для NVFP4, восемь B300 для BF16 или распределённую установку MLX с использованием нескольких Mac Studio на M5 Ultra.

Для большинства разработчиков первый шаг — сопоставить контрольную точку с поддерживаемой комбинацией аппаратного обеспечения и среды инференса. Начните с консервативной длины контекста, убедитесь, что сервер возвращает полные ответы, и измерьте использование памяти перед увеличением контекста или параллельности. Если у вас нет доступа к подходящему железу, более практичным вариантом может быть хостинговый API инференса, например CometAPI’s Muse Spark .

Key Takeaways

• У Muse Spark Open 816B общих параметров и около 42B активных на токен; полный банк экспертов всё равно требует хранения и памяти.
• Выбирайте NVFP4 или BF16, исходя из размера контрольной точки, памяти ускорителя, интерконнекта и накладных расходов сервера.
• Пример NVIDIA использует текущую конфигурацию vLLM NVFP4 на четырёх B300; перед запуском проверьте точное соответствие вашего железа и рантайма.
• Маршрут Apple требует нескольких Mac Studio на M5 Ultra и RDMA по прямым соединениям Thunderbolt 5.
• Проверьте эндпоинт модели, полноту ответа и использование памяти, прежде чем увеличивать контекст или добавлять пользователей.

What Is Muse Spark Open?

Muse Spark Open — это релиз семейства Muse Spark от Meta с загружаемыми весами. В отличие от обычного плотного трансформера, его разрежённая MoE-архитектура маршрутизирует каждый токен через подмножество экспертов, обеспечивая фронтирную ёмкость при меньших активных вычислениях. Объявление о выпуске Meta описывает модель как изначально мультимодальную и оптимизированную для многошагового кодинга и агентных рабочих процессов.

Модель принимает текст, изображения, аудио и видео, а выдаёт текст; доступность функций по-прежнему зависит от среды сервинга. Она распространяется по лицензии Muse Model License с ограничениями на использование. Проверьте условия репозитория перед развёртыванием и пересмотрите необратимые действия в агентных сценариях.

How Does Muse Spark Open Perform?

Результаты на бенчмарках помогают понять, стоит ли модель оценки; они не говорят, насколько быстро будет работать ваш локальный сервер. Приведённые ниже цифры — заявленные Meta результаты возможностей, а не измерения из команд развёртывания в этом руководстве.

Meta документирует настройки модели, процедуры, специфичные для бенчмарков, и выбор метрик в своей методологии оценки. В этих результатах Muse Spark Open использует xhigh reasoning. Сравнивайте локальную установку на своём наборе задач, своей версии ПО, контексте и параллельности; более низкий обслуживаемый контекст или другой стенд меняют предмет тестирования.

Can You Actually Run Muse Spark Open Locally?

Да. Вы можете запускать Muse Spark Open локально, если ваша система соответствует требованиям к контрольной точке, ускорителям и среде инференса. Документированные маршруты включают серверы на NVIDIA GPU и распределённые системы на Apple Silicon; совместимая конверсия GGUF предоставляет другой вариант для машин с достаточным объёмом адресуемой памяти. Официальная карточка модели Muse Spark Open и гайд по развёртыванию на Hugging Face описывают выпущенные веса и настройку для конкретных рантаймов. Обычный потребительский ноутбук не сможет удержать весь нативный чекпойнт в памяти.

Ёмкость памяти — первое ограничение. Активные параметры описывают вычисления на токен, а не полный объём весов экспертов. Гайд по контрольным точкам Meta даёт примерно 537 GB для NVFP4 и 1.65 TB для BF16, без учёта KV-кэша, активаций и накладных расходов рантайма.

Распределяйте железо, исходя из полного размера чекпойнта плюс запас для сервинга. Длинные промпты увеличивают нагрузку на KV-кэш, а поддерживаемое число GPU зависит от рантайма и ускорителя. Конфигурация NVFP4 на четырёх GPU не гарантирует, что любые четыре карты Blackwell смогут обслуживать любую длину контекста.

Частный сервер с GPU — нативный путь для весов. Несколько Mac Studio с большой памятью — отдельный поддерживаемый путь. Потребительские десктопы требуют совместимой квантованной сборки и тщательных проверок ёмкости; большой SSD сам по себе не заменит быструю память для инференса.

Which Checkpoint Should You Choose?

Выберите контрольную точку перед загрузкой. Meta публикует нативные чекпойнты BF16 и NVFP4, но это не универсальные рекомендации форматов для каждой платформы. Документированные маршруты для NVIDIA Blackwell используют BF16 или NVFP4; для AMD Instinct — BF16 или специфичные для AMD чекпойнты MXFP4/FP8; для Intel Xeon 6 — конфигурация INT4; распределённый маршрут Apple Silicon использует чекпойнт NVFP4 с MLX. Выберите чекпойнт, поддерживаемый вашим конкретным ускорителем и средой инференса, следуя гайду по чекпойнтам Meta и платформенно-специфичным инструкциям по развёртыванию. Репозитории GGUF обеспечивают иной путь упаковки и квантования для llama.cpp. Совместимость рантайма и поддержка модальностей нужно проверять для конкретных файлов.

Это размеры весов, а не полный бюджет памяти сервинга. Оставляйте место для кэша, активаций, ОС и аллокаций рантайма. Низкобитовая конверсия может уменьшить объём хранения, изменив качество или производительность; тестируйте компромиссы на ваших промптах.

How to Download Muse Spark Open

Начните с Python 3.10 или новее, постоянного хранилища и официального репозитория NVFP4. Изучите лицензию и выполните требования к доступу, указанные для вашей учётной записи. Чекпойнт BF16 расположен в отдельном репозитории. Приведённая ниже загрузка сохраняет локальную копию; более поздний пример с Docker использует постоянный кеш Hugging Face и может загрузить ещё одну копию, если вы явно не настроите загрузку по локальному пути.

Загрузите чекпойнт NVFP4 в постоянное локальное хранилище.

python -m pip install -U huggingface_hub
hf auth login
hf download meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --local-dir ./Muse-Spark-Open-NVFP4

Планируйте сотни гигабайт трафика и дополнительное место под временные файлы. Если при загрузке возвращается HTTP 401/403, подтвердите доступ к репозиторию и аутентификацию, прежде чем менять стек инференса. Избегайте копирования токена в публикуемую историю shell или скриншоты.

How to Deploy Muse Spark Open with vLLM

Используйте vLLM, когда нужен OpenAI-совместимый эндпоинт на поддерживаемом сервере с ускорителями. Meta теперь документирует стартовую конфигурацию NVFP4 на четырёх B300. Приведённый ниже запуск следует этой топологии, снижает обслуживаемый контекст до 128K и оставляет спекулятивное декодирование отключённым для первой проверки.

Check the prerequisites

Подготовьте сервер Linux с четырьмя совместимыми B300, соответствующим драйвером NVIDIA, Docker, NVIDIA Container Toolkit и достаточным постоянным хранилищем для весов и кэша. Настройте видимость GPU внутри контейнеров до загрузки модели. Выполняйте примеры Bash в оболочке Bash.

Проверьте хост, Docker и доступ к GPU внутри CUDA-контейнера.

nvidia-smi
docker --version
docker run --rm --gpus all nvidia/cuda:12.8.1-base-ubuntu22.04 nvidia-smi

Set the Hugging Face token

Если доступ к репозиторию требует аутентификации, передайте токен через переменную окружения. Следующая команда скрывает токен при вводе; не вставляйте учётные данные в общие команды или публикуемые логи.

Считайте токен Hugging Face без отображения ввода.

read -rsp "Hugging Face token: " HF_TOKEN
echo
export HF_TOKEN

Pull the model-specific container

Загрузите образ vLLM для Muse Spark Open.

docker pull vllm/vllm-openai:muse-spark-open

Используйте текущую конфигурацию Meta для vLLM со сборкой, поддерживающей Muse. Старый общий образ может не распознать архитектуру или парсер. Сохраните дайджест образа после успешного теста, чтобы последующие развёртывания использовали ту же сборку.

Launch the NVFP4 server

Запустите сервер vLLM на четырёх GPU с лимитом контекста 128K.

docker run --rm --gpus all --ipc=host \
  -p 127.0.0.1:8000:8000 \
  -e HF_TOKEN \
  -e VLLM_USE_RUST_FRONTEND=1 \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  vllm/vllm-openai:muse-spark-open \
  meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --tensor-parallel-size 4 \
  --enable-expert-parallel \
  --max-model-len 131072 \
  --reasoning-parser muse \
  --tool-call-parser muse \
  --enable-auto-tool-choice

Это стартовая конфигурация для указанной топологии, а не гарантия, что любые четыре GPU смогут обслуживать чекпойнт. Дождитесь завершения первой загрузки, инициализации модели и компиляции. Сохраняйте кэш между перезапусками. Эта команда получает файлы из репозитория в примонтированный кэш; она автоматически не использует отдельную загрузку с --local-dir выше.

Test the local endpoint

Выведите список доступных моделей и запросите короткий ответ.

curl http://localhost:8000/v1/models
curl http://localhost:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{
    "model":"meta-models/Muse-Spark-Open-816B-A42B-NVFP4",
    "messages":[{"role":"user","content":"Explain tensor parallelism in two sentences."}],
    "reasoning_effort":"low",
    "max_tokens":2048
  }'

Используйте идентификатор, возвращённый /v1/models, если он отличается. Проверьте и финальный ответ, и finish_reason: достижение лимита токенов может обрезать рассуждение до появления полезного ответа. Для начальных тестов держите привязку к localhost и добавьте контроль доступа перед удалённым использованием.

Connect a Python application

Установите Python-клиент, используемый в примере.

python -m pip install -U openai

Подключите локальный эндпоинт vLLM из Python.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="EMPTY",
    timeout=3600,
)
model_id = client.models.list().data[0].id
response = client.chat.completions.create(
    model=model_id,
    messages=[{"role": "user", "content": "Write a small Python input validator."}],
    max_tokens=2048,
    extra_body={"reasoning_effort": "low"},
)
print(response.choices[0].message.content)
print("finish_reason:", response.choices[0].finish_reason)

EMPTY — только заполнитель для локального сервера без проверки API-ключа. Используйте настроенные учетные данные, если включите аутентификацию. Фиксируйте ID обслуживаемой модели и параметры запроса при интеграции агентов.

How to Deploy Muse Spark Open with SGLang

SGLang — ещё одна поддерживаемая опция сервинга нативных весов. Его практическое руководство по Muse Spark Open предоставляет конфигурацию и настройку под конкретное железо. Выберите образ NVIDIA для B300; для AMD и Intel используются другие образы и рецепты.

Prepare the model-specific image

Загрузите NVIDIA-образ SGLang для Muse Spark Open.

docker pull lmsysorg/sglang:dev-muse-spark-open

Start the four-B300 NVFP4 server

Следующий базовый запуск адаптирует нативные настройки NVFP4, при этом спекулятивное декодирование и иерархическое кэширование опущены. Включайте эти функции только после того, как базовый эндпоинт заработает и будет измерен запас памяти.

Запустите SGLang с четырёхкратным тензорным и экспертным параллелизмом.

docker run --rm --gpus all --ipc=host \
  -p 127.0.0.1:30000:30000 \
  -e HF_TOKEN \
  -v "$HOME/.cache/huggingface:/root/.cache/huggingface" \
  --entrypoint sglang \
  lmsysorg/sglang:dev-muse-spark-open serve \
  --model-path meta-models/Muse-Spark-Open-816B-A42B-NVFP4 \
  --tp-size 4 --ep-size 4 \
  --quantization modelopt_fp4 \
  --moe-runner-backend flashinfer_trtllm \
  --mem-fraction-static 0.8 \
  --context-length 131072 \
  --enable-layernorm-sp \
  --enable-megamoe-for-layernorm-sp \
  --reasoning-parser muse \
  --tool-call-parser muse \
  --host 0.0.0.0 --port 30000

Verify the SGLang endpoint

Проверьте список моделей перед повторным использованием чата на порту 30000.

curl http://localhost:30000/v1/models

Отправьте тот же короткий чат-запрос, что и для vLLM, на порт 30000, используя идентификатор модели, возвращённый здесь. Перепроверьте полноту финального ответа и безвредный вызов инструмента, прежде чем запускать кодового агента.

How to Run Muse Spark Open with llama.cpp

Репозиторий GGUF от ggml-org предоставляет отдельный путь конвертации. Перед началом загрузки изучите выбранные файлы, доступную RAM/VRAM и текущую поддержку рантайма. Наличие GGUF не делает модель на 816B подходящей для обычного ноутбука.

Install a current llama.cpp build

Установите бинарник приложения Llama на поддерживаемом хосте macOS или Linux.

curl -LsSf https://llama.app/install.sh | sh

Проверьте установочные скрипты перед запуском и используйте платформенно-специфичные инструкции, если ваша среда блокирует shell-установщики. Команды ниже используют текущий интерфейс приложения llama; старые бинарники с именем llama-server имеют другой CLI.

Start the GGUF server

Обслуживайте GGUF Q4_K_S с фиксированным псевдонимом API и начальным контекстом 32K.

llama serve \
  -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q4_K_S \
  -a muse-spark-open \
  -c 32768 \
  -np 1 \
  --chat-template-kwargs '{"reasoning_effort":"low"}'

Подтвердите доступность GGUF-сервера на локальном эндпоинте.

curl http://localhost:8080/v1/models

Используйте muse-spark-open как псевдоним модели в запросах. Держите машину в доверенной сети во время тестов и настройте привязку и аутентификацию перед совместным доступом. Подтвердите работу зрения, аудио и инструментов для выбранной конверсии, не предполагая паритета функций с нативными весами. Используйте Ollama только с проверенным пакетом модели Muse Spark Open и совместимой версией.

How to Run Muse Spark Open on Multiple Mac Studios with MLX

Используйте два Mac Studio на M5 Ultra с 512 GB унифицированной памяти каждый или четыре с 256 GB каждый. Это распределённая установка, а не обычная инсталляция на MacBook.

Официальные инструкции по развёртыванию MLX требуют macOS 26.2 или новее, MLX 0.30.1 или новее, RDMA, включённого на каждом Mac, прямых соединений Thunderbolt 5 между каждой парой Mac и входа по SSH без пароля с основного хоста. Каждый хост нуждается в месте на диске для полного чекпойнта NVFP4.

Установите mlx-lm на каждый хост. Используйте mlx.distributed_config и руководство по распределённому MLX, чтобы сгенерировать hostfile.json с адресами Thunderbolt и RDMA-устройствами каждой машины. Проверьте доступ по SSH и конфигурацию RDMA перед запуском.

Запустите распределённый OpenAI-совместимый сервер MLX с основного Mac.

mlx.launch --hostfile hostfile.json --backend jaccl --env MLX_METAL_FAST_SYNCH=1 -- \
  mlx_lm.server --model meta-models/Muse-Spark-Open-816B-A42B-NVFP4 --port 8080

Проверьте эндпоинт с основного Mac командой curl http://localhost:8080/v1/models. Используйте возвращённый идентификатор модели для короткого чат-запроса. Держите сервис в доверенной сети и добавьте аутентификацию перед совместным доступом.

Which Muse Spark Open Checkpoint Should You Choose?

Начните с NVFP4 на поддерживаемом сервере Blackwell, если его память и интерконнект соответствуют нативному рецепту. Используйте BF16, когда требуется эталонная полная точность и у вас есть соответствующая ёмкость. Выбирайте конкретную конверсию GGUF для llama.cpp только после проверки её фактического размера файла и качества вывода. Для документированного маршрута на нескольких Mac используйте совместимый с MLX чекпойнт NVFP4.

Не выбирайте исключительно по наименьшему размеру загрузки. Сравните успех на ваших задачах, полноту ответов, латентность и использование памяти. Сохраняйте точную ревизию репозитория и сборку рантайма в записи о развёртывании, чтобы результаты можно было воспроизвести.

Muse Spark Open: vLLM vs SGLang vs llama.cpp vs MLX

Выбирайте среду выполнения под ваше существующее железо и рецепт под конкретную модель. vLLM подходит для поддерживаемых серверов с ускорителями; MLX покрывает документированную установку на нескольких Mac. Meta также документирует llama.cpp с чекпойнтами GGUF. Валидируйте выбранный чекпойнт и бэкенд перед оценкой пропускной способности или сменой рантаймов.

How Do You Optimize a Local Muse Spark Open Deployment?

Increase context gradually

Используйте ограниченный контекст при первом запуске и повышайте его только при необходимости для нагрузки. Мониторьте время предзаполнения и память по мере роста длины входа. Наличие окна на 1M токенов не гарантирует, что любая аппаратная конфигурация сможет зарезервировать эту ёмкость при полезной параллельности.

Tune one feature at a time

Измерьте базовый сервер перед включением кэширования префиксов, спекулятивного декодирования или продвинутых распределённых схем. Повторяйте те же промпты и профиль трафика после каждого изменения. Оставляйте изменения, которые улучшают латентность завершённых задач или пропускную способность без вреда качеству вывода.

Keep storage and runtime versions predictable

Размещайте веса и кэш на постоянном быстром хранилище, отделяйте холодный старт от тёплых запросов и фиксируйте проверенные дайджесты образов. Записывайте тип ускорителя, ревизию чекпойнта, сборку рантайма, настройки парсера, лимит контекста и параллельность вместе с измерениями.

Monitor completed work

Проверяйте корректность раньше скорости. Начните с короткого текстового запроса и подтвердите, что сервер возвращает полный ответ. Затем протестируйте безвредный вызов инструмента и запрос с изображением, если выбранный рантайм их поддерживает. Записывайте версии ПО, число GPU, чекпойнт, длину входа, бюджет вывода и параллельность для каждого локального измерения.

Постепенно увеличивайте длину промптов и параллельность, наблюдая за латентностью первого токена, полнотой ответов и пиковым потреблением памяти. Это локальные валидационные измерения; это руководство не заявляет измеренную пропускную способность или окупаемость железа.

How Can You Use Muse Wonder API in CometAPI Instead of Self-Hosting?

Если сервер с несколькими GPU или распределённая установка на Mac непрактичны, вы можете использовать Muse Wonder API в CometAPI как хостинговую альтернативу модели Meta. Это не API-эндпоинт для чекпойнта Muse Spark Open: идентификатор модели на шлюзе — muse-wonder, тогда как Muse Spark Open относится к отдельно выпущенным загружаемым весам. Не переносите результаты бенчмарков Muse Spark Open или точные заявления о функциях на Muse Wonder.

Endpoint, model identity, and authentication

Используйте базовый URL HTTPS https://api.cometapi.com/v1, POST /chat/completions, аутентификацию Bearer и идентификатор модели muse-wonder. См. документацию по интеграции CometAPI для деталей аутентификации.

export COMETAPI_KEY="your_cometapi_api_key"
 
curl -X POST "https://api.cometapi.com/v1/chat/completions" \
  -H "Authorization: Bearer $COMETAPI_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "muse-wonder",
    "messages": [{"role":"user","content":"Explain expert parallelism briefly."}],
    "stream": false
  }'

Успешный ответ должен включать ответ в choices[0].message.content. Запрос иллюстрирует документированный маршрут CometAPI; это не доказательство того, что Wonder и Spark Open — одна и та же модель.

Python client example

import os
from openai import OpenAI
 
client = OpenAI(
    api_key=os.environ["COMETAPI_KEY"],
    base_url="https://api.cometapi.com/v1",
    timeout=120.0,
)
result = client.chat.completions.create(
    model="muse-wonder",
    messages=[{"role": "user", "content": "Summarize the deployment tradeoffs."}],
)
print(result.choices[0].message.content)

What inputs and pricing does the alternative support?

Meta документирует текст, изображения, видео, аудио и PDF на вход для нативного Muse Wonder, с текстом на выходе. Поддержку каждой медиаформы и схемы сообщений на шлюзе нужно валидировать отдельно; примеры выше намеренно начинаются с текста. Руководство по Muse Wonder API в CometAPI приводит следующую опубликованную тарифную выжимку: $3.20 за миллион не кешированных входных токенов и $16.00 за миллион выходных токенов. Она не устанавливает тариф CometAPI для кешированных входов. Проверьте ставку, применяемую к вашей учётной записи, перед промышленной эксплуатацией.

При указанных ставках 100,000 не кешированных входных токенов плюс 50,000 выходных токенов будут стоить примерно $1.12 по токенам модели (0.1 × $3.20 + 0.05 × $16.00), без учёта иных возможных сборов. Для сравнения, локальный хостинг зависит от приобретения или аренды GPU, электроэнергии, утилизации, хранения, инженерных и эксплуатационных затрат. Это пример расчёта, а не измеренный показатель стоимости за задачу.

Собственный хостинг даёт контроль над размещением данных, конфигурацией рантайма и потенциально предсказуемой высокой утилизацией. Хостинговые API избавляют от покупки ускорителей, поддержки кластеров с экспертным параллелизмом и построения отказоустойчивости. Точка безубыточности зависит от нагрузки: малоиспользуемый внутренний ассистент обычно имеет другую экономику, чем высоконагруженный флот кодовых агентов.

Common Muse Spark Open Local Deployment Problems

Separate startup failures from request failures

Для сбоев на старте проверьте доступ к репозиторию, видимость GPU, поддержку архитектуры и выделение памяти — в этом порядке. Если сервер готов, но запросы падают, проверьте идентификатор модели, формат запроса, парсер и бюджет вывода. Сохраняйте версию рантайма и первую релевантную ошибку вместо повторных попыток с несколькими несвязанными изменениями флагов.

Conclusion

Если у вас есть поддерживаемый сервер Blackwell, начните с NVFP4 и официального рецепта развёртывания vLLM, проверьте скромный лимит контекста и масштабируйте параллелизм после сбора собственных метрик латентности и успеха задач. Если вы полностью в экосистеме Apple, поддерживаемый сценарий для десктопов — это распределённое развёртывание MLX на нескольких Mac Studio на M5 Ultra, а не привычная установка на ноутбук. Для команд без такой инфраструктуры используйте хостингового провайдера инференса, явно фиксируя идентичность модели и ценовые допущения.

FAQ

How can I restart a Muse Spark Open download after an interruption?

Повторно запустите hf download с тем же репозиторием и локальной директорией. Сохраните загруженные файлы и кэш, чтобы клиент мог переиспользовать завершённое содержимое. Подтвердите, что аутентификация всё ещё работает и осталось достаточно места на диске, перед повторной попыткой; удаление всей директории может привести к новой крупной загрузке.

What happens to Muse Spark Open conversations after a server restart?

Считайте HTTP-эндпоинт инференса статeless, если ваше приложение явно не сохраняет историю беседы. Сохраните сообщения и результаты инструментов, необходимые для реконструкции диалога, и отправьте их снова после перезапуска. Постоянный кэш загрузки модели сохраняет файлы весов, а не беседы вашего приложения.

How do I keep Muse Spark Open reasoning settings consistent?

Явно задавайте поддерживаемый уровень reasoning effort в клиентском запросе вместо того, чтобы полагаться на значения по умолчанию. Фиксируйте это значение вместе с ревизией модели, шаблоном чата и версией рантайма при сравнении ответов. Если поведение меняется после обновления, проверьте эти настройки прежде, чем относить разницу к чекпойнту.

How can several applications share a local Muse Spark Open endpoint?

Направьте каждый клиент на один и тот же OpenAI-совместимый базовый URL и идентификатор модели, возвращённый /v1/models. Добавьте аутентификацию, лимиты запросов и мониторинг, прежде чем делиться доступом с большим числом пользователей. Протестируйте одновременные запросы и определите поведение очереди или таймаутов, прежде чем считать успешный одиночный запрос гарантией ёмкости.