Как запустить GLM-5.3-Flash локально

Кратко

Вы можете запускать GLM-5.3-Flash локально, потому что Z.ai выпустила веса модели под лицензией MIT. Особенность — память: у модели примерно 320B общих параметров, хотя на токен активно лишь 18B. Нативные веса FP8 занимают около 306 GiB до накладных расходов рантайма и KV-кэша, а распространённые квантизации GGUF варьируются примерно от 93 GB при 1-бите до 200 GB при Q4 и 341 GB при Q8.

Для продакшен-сервинга на GPU наиболее прямой путь — vLLM или SGLang. Для рабочей станции с большим объёмом ОЗУ и одной/несколькими потребительскими видеокартами KTransformers разработан для гетерогенного CPU-GPU инференса. Для самого простого локального эксперимента используйте сборку GGUF с llama.cpp или Ollama. Обычная видеокарта на 24 GB или 32 GB не может уместить полную модель; локальная работа на одном GPU зависит от системной памяти, оффлоада и/или квантизации.

Что такое GLM-5.3-Flash?

Полный обзор модели и интерпретацию бенчмарков см. в статье CometAPI What Is GLM-5.3-Flash?. В этом руководстве по деплойменту сохранены только необходимые факты по размерам: GLM-5.3-Flash — это 320B / 18B мультимодальный MoE, обученный на корпусе из 30T токенов.

Официальный репозиторий указывает контекстное окно 1,048,576 токенов, веса под лицензией MIT и поддерживаемые пути локального сервинга. Ниже приведена справочная таблица по деплойменту; остальная часть статьи посвящена установке, памяти, проверке и устранению неполадок.

Почему GLM-5.3-Flash эффективнее, чем предполагает её размер

320B звучит как классическая плотная 320B-модель, но GLM-5.3-Flash расходует вычисления иначе. Маршрутизатор MoE активирует лишь часть ёмкости экспертов для каждого токена, а переработанный механизм внимания снижает затраты на удержание и извлечение состояния длинного контекста.

Z.ai сообщает о сокращениях вычислений внимания и использования KV-кэша по сравнению с GLM-5.3. Это важно, потому что KV-кэш растёт с длиной контекста и конкуренцией; модель, которая успешно загружается при 8K контексте, всё ещё может закончить память при попытке обслуживать гораздо более длинные диалоги.

Источник: Официальный анонс Z.ai

Насколько хороша GLM-5.3-Flash?

В таблице ниже оставлены первичные показатели, наиболее релевантные деплойменту. Z.ai сообщает о более высоких результатах бенчмарков для GLM-5.3-Flash по сравнению с GLM-5.2; см. обзор модели на CometAPI для более полной интерпретации бенчмарков. Здесь практический вывод — оправдывают ли улучшения локальные аппаратные и операционные затраты.

Шаблон особенно актуален для self-hosting: сильнейшие кейсы модели — не «случайный чат», а кодовые агенты, автоматизация с инструментами, работа с документами в длинном контексте и мультимодальные процессы, где резидентность данных или контроль инфраструктуры оправдывают усилия по развёртыванию.

Сколько RAM или VRAM требуется GLM-5.3-Flash?

Планирование памяти — наиболее важная часть этого руководства. В официальном рецепте vLLM указано, что нативный чекпойнт FP8 составляет около 306 GiB весов FP8. Поэтому KTransformers рекомендует зарезервировать минимум 350 GB доступной системной памяти для нативного FP8 пути CPU-GPU.

Если используете GGUF, Unsloth публикует квантизации от 1-бита до BF16. Размер файла — не то же самое, что общий объём памяти в рантайме: всё равно нужен запас для рантайма, метаданных модели, буферов вычислений, мультимодальных компонентов и KV-кэша.

Третий столбец — рекомендации по планированию деплоймента, а не официальные минимальные требования к оборудованию. Фактическая влезаемость зависит от длины контекста, размера батча, рантайма, оффлоада на GPU и реализации квантизации.

Какой локальный рантайм выбрать?

Выбирайте vLLM, когда важны пропускная способность и совместимость с экосистемой. Выбирайте SGLang, если хотите тестировать агентные сценарии, структурированную генерацию или мультимодальные запросы. Выбирайте KTransformers, если модель не помещается в память GPU, но у вас сотни гигабайт системной ОЗУ. Выбирайте llama.cpp или Ollama, когда простота локальных экспериментов важнее соответствия нативному чекпойнту.

Как запустить GLM-5.3-Flash с нативными весами

Запуск с vLLM

vLLM — самый понятный продакшен-ориентированный вариант при наличии серверных акселераторов. Текущий официальный рецепт поддерживает несколько стратегий параллелизации и документирует нативный сервинг FP8. Рассматривайте опубликованные конфигурации как референс, а не как обещание, что каждая комбинация GPU будет работать с теми же флагами.

Шаг 1: Подготовьте окружение

Используйте Linux с поддерживаемым стеком NVIDIA, достаточным суммарным объёмом памяти GPU для чекпойнта плюс накладные расходы рантайма, и свежую сборку vLLM или контейнер, рекомендованный текущим рецептом. Начинайте с меньшего контекстного окна при валидации деплоймента, а не выделяйте сразу полный миллион токенов.

Шаг 2: Запустите сервер

pip install vllm

vllm serve "zai-org/GLM-5.3-Flash" \
  --tensor-parallel-size 8 \
  --served-model-name zai-org/GLM-5.3-Flash

Для продвинутых деплойментов официальный рецепт vLLM документирует FP8 KV-кэш на поддерживаемых системах Blackwell, MTP-спекулятивное декодирование, парсинг вызовов инструментов, парсинг рассуждений и разделение prefill/decode. Перед копированием флагов в продакшен сверяйтесь с актуальным рецептом vLLM, так как поддержка быстро меняется.

Шаг 3: Проверьте OpenAI-совместимую конечную точку

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "zai-org/GLM-5.3-Flash",
    "messages": [
      {"role": "user", "content": "Reply with OK"}
    ]
  }'

Запуск с SGLang

SGLang — ещё один первоклассный путь сервинга, указанный в официальной карточке модели. Особенно стоит тестировать для высококонкурентных агентов, структурированной генерации, мультимодальных запросов и приложений с большим числом инструментов.

Шаг 1: Установите SGLang

pip install sglang

Шаг 2: Запустите сервер модели

python3 -m sglang.launch_server \
  --model-path "zai-org/GLM-5.3-Flash" \
  --host 0.0.0.0 \
  --port 30000

Шаг 3: Проверьте конечную точку

curl -X POST "http://localhost:30000/v1/chat/completions" \
  -H "Content-Type: application/json" \
  --data '{
    "model": "zai-org/GLM-5.3-Flash",
    "messages": [{"role": "user", "content": "Give me three local deployment checks."}]
  }'

Официальная карточка модели на Hugging Face также содержит примеры мультимодальных запросов для SGLang. Если нужен вызов инструментов, используйте флаги парсера, рекомендованные текущим рецептом SGLang, а не полагайтесь на команды для более старого релиза GLM.

Запуск с KTransformers

KTransformers — самый важный вариант для пользователей, воспринимающих ?local? как рабочую станцию, а не восьми-GPU сервер. Его реализация GLM-5.3-Flash читает официальные веса FP8 напрямую и выполняет гетерогенный инференс экспертов на CPU и GPU.

Текущий туториал говорит, что модель FP8 занимает примерно 306 GiB и советует иметь 350 GB системной памяти. Поддерживаются GPU NVIDIA SM89 и SM120, включая RTX 40- и 50-серии, плюс AVX-512 FP8 CPU-ядра экспертов. Туториал включает конфигурации для запуска и на четырёх GPU, и на одном.

Один RTX 4090 или RTX 5090 может участвовать в инференсе, но это не делает GLM-5.3-Flash моделью на 24–32 GB. Большая часть модели всё равно живёт вне VRAM видеокарты, поэтому ёмкость и пропускная способность системной памяти становятся ключевыми для производительности.

Шаг 1: Создайте чистое Python-окружение

conda create -n glm53flash python=3.11 -y
conda activate glm53flash

Шаг 2: Установите KTransformers

pip install "ktransformers[sglang]"

Шаг 3: Скачайте официальные веса

Скачайте zai-org/GLM-5.3-Flash с Hugging Face на локальное хранилище. Обеспечьте достаточное место на диске под чекпойнт и достаточно ОЗУ для активной серверной конфигурации.

Шаг 4: Запустите сервер на одном GPU

MODEL_PATH=/path/to/GLM-5.3-Flash

CUDA_VISIBLE_DEVICES=0 python -m sglang.launch_server \
  --model-path "$MODEL_PATH" \
  --kt-weight-path "$MODEL_PATH" \
  --served-model-name GLM-5.3-flash \
  --host 0.0.0.0 \
  --tp-size 1 \
  --context-length 501025 \
  --mem-fraction-static 0.65 \
  --chunked-prefill-size 2048 \
  --kt-method FP8 \
  --kt-cpuinfer 64 \
  --kt-threadpool-count 2 \
  --kt-num-gpu-experts 0 \
  --kt-gpu-prefill-token-threshold 2048 \
  --cuda-graph-bs 1 2 4 \
  --limit-mm-data-per-request '{"image":8,"video":1}' \
  --mm-process-config '{"image":{"max_pixels":1254400}}' \
  --tool-call-parser glm47 \
  --reasoning-parser glm45

Туториал использует валидированную конфигурацию на 501,025 токенов, хотя модель поддерживает до 1M контекста. Это полезное напоминание: настраивайте контекст, который действительно нужен, а не маркетинговый максимум, поскольку запас по контексту имеет прямую стоимость по памяти.

Шаг 5: Проверьте сервер

curl http://localhost:30000/v1/models

OpenAI-совместимая конечная точка для чата — обычный текст: http://localhost:30000/v1/chat/completions.

Как запустить квантизированную GGUF-модель GLM-5.3-Flash

Запуск GLM-5.3-Flash в llama.cpp

Если вы не хотите запускать нативный чекпойнт FP8, GGUF делает цель по памяти более гибкой. Unsloth публикует несколько квантизаций GLM-5.3-Flash в GGUF и предоставляет прямые команды для llama.cpp. Сборка Q4_K_XL — около 200 GB, так что даже этот «дружелюбный к потребителю» путь предполагает большую системную память.

Установка на macOS или Linux

curl -LsSf https://llama.app/install.sh | sh

Установка на Windows

winget install llama.cpp

Запустите локальный сервер с Q4_K_XL

llama serve -hf unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL

Запуск прямо в терминале

llama cli -hf unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL

Если ваша машина не может уместить Q4_K_XL, существуют более компактные файлы на 3, 2 и 1 бит. Не выбирайте наименьшую разрядность только потому, что она влезает: агрессивная квантизация может изменить надёжность рассуждений, форматирование вызовов инструментов, качество кода и мультимодальное поведение. Валидируйте конкретную сборку на собственном тестовом наборе.

Запуск GLM-5.3-Flash в Ollama

Ollama — самый короткий путь в командной строке, если вы уже используете её для локальных моделей. Unsloth документирует прямую загрузку из Hugging Face для своих GGUF-сборок GLM-5.3-Flash.

ollama run hf.co/unsloth/GLM-5.3-Flash-GGUF:UD-Q4_K_XL

Удобство Ollama не меняет реальный размер модели. Q4_K_XL — всё ещё около 200 GB, а версии с меньшим числом битов меняют память на качество. Если у вас всего 32–64 GB системной памяти, GLM-5.3-Flash — неразумная цель для локального запуска; используйте меньшую модель или хостed API.

Выбор квантизации GGUF

Выбирайте квантизацию с максимальным качеством, которая влезает с достаточным запасом для рантайма и KV-кэша. Начните с Q4_K_XL при наличии примерно 256 GB или больше системной памяти; рассматривайте низкобитные сборки только при ограничениях железа и сравнивайте рассуждения, генерацию кода, вызовы инструментов и мультимодальное поведение с нативной или хостed-референсной реализацией до деплоймента.

Как проверить локальный деплоймент

Успешный лог запуска — недостаточен. Тестируйте поведения, на которых реально будет держаться ваше приложение. Полезная последовательность приёмки: базовая генерация текста, ваш реальный объём контекста, вызов инструментов по вашим схемам, мультимодальный ввод при необходимости и пропускная способность при реалистичной конкуренции.

Базовый тест работоспособности

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "zai-org/GLM-5.3-Flash",
    "messages": [
      {"role": "user", "content": "Return exactly: LOCAL_OK"}
    ],
    "reasoning_effort": "low"
  }'

Карточка модели определяет уровни reasoning_effort и по умолчанию использует max. Для воспроизведения бенчмарков держите max; для медленной рабочей станции low или high могут сделать итеративное тестирование намного практичнее.

Затем добавьте проверки под нагрузку:

• Длинный контекст: отправьте документ или репозиторий, близкий к вашей целевой длине в продакшене, а не берите по умолчанию максимум 1M.
• Вызов инструментов: проверьте JSON аргументов, выбор инструмента, восстановление после ошибок инструментов и повторные вызовы.
• Мультимодальность: протестируйте форматы изображений или видео и диапазоны разрешений, которые будете использовать на практике.
• Конкуренция: измеряйте задержку и память при одновременной активности нескольких запросов.
• Квантизация: сравнивайте один и тот же набор промптов с нативной или хостed-референсной версией до утверждения низкобитной GGUF-сборки.

Как сократить использование памяти GLM-5.3-Flash

Используйте меньшее контекстное окно

Модель поддерживает до 1M токенов, но большинству локальных рабочих процессов не нужен такой контекст в каждом запросе. Уменьшите максимально настроенный объём до требований вашего приложения. Это снижает давление на KV-кэш и может превратить нестабильный деплоймент в рабочий.

Квантизируйте веса

Переход от BF16 к Q8, Q6, Q4 или более низким GGUF существенно сокращает память на веса. Компромисс — качество выхода и иногда совместимость рантайма, так что относитесь к уровню квантизации как к выбору модели, а не только как к опции хранения.

Используйте оффлоад на CPU

KTransformers и llama.cpp могут переносить значительную часть состояния модели в системную ОЗУ. Это основная причина, по которой инференс GLM-5.3-Flash на одном GPU вообще возможен, но это также смещает бутылочное горлышко в сторону возможностей CPU и пропускной способности памяти.

Уменьшите конкуренцию

Каждый одновременный запрос с длинным контекстом потребляет дополнительные кэши и буферы рантайма. Деплой на рабочей станции часто лучше работает с небольшим таргетом по конкуренции и явной очередью, чем с серверным стилем параллелизма.

Как улучшить интерактивную задержку

Для интерактивного локального использования снижение reasoning_effort может уменьшить длину генерируемого рассуждения, задержку отклика и расход токенов. Это не уменьшает память, требуемую для загрузки весов модели; может лишь косвенно уменьшить использование кэша во время запроса, сократив генерируемую последовательность. Используйте low для быстрой итерации, и переключайтесь на high или max, когда задаче нужны более глубокие рассуждения или поведение, сопоставимое с бенчмарками.

Запускать GLM-5.3-Flash локально или использовать API?

Self-hosting привлекателен, когда важны приватность, резидентность данных, офлайн-работа, кастомные настройки инференса или есть простаивающее оборудование. Менее привлекателен, когда доступ к модели нужен эпизодически и не хочется поддерживать сотни гигабайт памяти и сложный стек сервинга.

Если локальный деплой не обязателен, вы можете получить доступ к GLM-5.3-Flash через OpenAI-совместимый workflow chat-completions, используя ID модели glm-5.3-flash. Это полезно как референсная конечная точка для сравнения вашей локальной квантизированной сборки с хостed-реализацией или как продакшен-фолбэк, пока вы тестируете self-hosting.

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://api.cometapi.com/v1",
    api_key=os.environ["COMETAPI_KEY"],
)

response = client.chat.completions.create(
    model="glm-5.3-flash",
    messages=[{"role": "user", "content": "Reply with OK"}],
)

print(response.choices[0].message.content)

Частые проблемы при локальном запуске GLM-5.3-Flash

Модель загружается, затем падает на длинном промпте

Обычно это значит, что вы рассчитали память на веса, но не на KV-кэш. Уменьшите длину контекста и конкуренцию, затем увеличивайте постепенно, отслеживая память GPU и системы.

Файл Q4 помещается на диск, но не в ОЗУ

Размер GGUF-файла — не полный объём рантайма. Оставляйте значительный запас под буферы рантайма, кэш и ОС.

KTransformers на одном GPU работает крайне медленно

Это ожидаемо, когда большая часть работы экспертов обслуживается из системной памяти CPU. Проверьте NUMA-размещение, пропускную способность памяти, поддержку инструкций CPU, поведение хранилища при загрузке и то, не лучше ли ваш рабочий набор обслуживать меньшей квантизированной моделью.

Вызов инструментов возвращает некорректный JSON

Убедитесь, что ваш рантайм использует парсер, рекомендованный для текущей интеграции GLM-5.3-Flash. Флаги парсера могут меняться между версиями фреймворка, поэтому не переиспользуйте запуск, написанный для более старой GLM.

Ollama или llama.cpp начинают скачивать сотни гигабайт

Это нормально для данного семейства моделей. Проверьте тег квантизации перед началом загрузки, убедитесь в наличии свободного места на диске и посмотрите соответствующий размер файла в репозитории GGUF заранее.

FAQ

Могу ли я запустить GLM-5.3-Flash на RTX 4090?

Да, RTX 4090 может участвовать в гетерогенном инференсе CPU-GPU через KTransformers, но 24 GB VRAM далеко недостаточно, чтобы уместить полный чекпойнт. Официальный путь FP8 в KTransformers всё равно требует примерно 350 GB доступной системной памяти.

Могу ли я запустить GLM-5.3-Flash на RTX 5090?

Да, GPU серии RTX 50 явно включены в текущий список поддержки KTransformers. Как и для 4090, ключевое ограничение — остальная система: объём ОЗУ, пропускная способность памяти, поддержка CPU и выделяемый вами объём контекста.

Можно ли запустить GLM-5.3-Flash с 128 GB ОЗУ?

Только самые агрессивные квантизации GGUF подходят к этому диапазону: Q2_K_XL — около 109 GB и IQ2_XXS — около 102 GB. С учётом накладных расходов рантайма и KV-кэша 128 GB — очень плотная цель. Это не та конфигурация, которую стоит выбирать, если вам нужно предсказуемое качество или длинный контекст.

Может ли GLM-5.3-Flash работать в Ollama?

Да. Unsloth документирует прямую загрузку в Ollama для своих GGUF-сборок, включая UD-Q4_K_XL.

Сколько VRAM нужно GLM-5.3-Flash?

Нет единственно верного числа. Нативный серверный деплой распределяет чекпойнт между акселераторами; KTransformers комбинирует VRAM GPU со сотнями гигабайт системной ОЗУ; llama.cpp может оффлоадить квантизированную GGUF между CPU и GPU. Планируйте в привязке к выбранному рантайму и квантизации.

Является ли GLM-5.3-Flash открытым исходным кодом?

Самая корректная формулировка — открытые веса под лицензией MIT. Официальный репозиторий на Hugging Face явно указывает лицензию MIT и предоставляет скачиваемые чекпойнты.

Дешевле ли локальный GLM-5.3-Flash, чем API?

Не автоматически. Локальный хостинг может иметь смысл, когда у вас уже есть подходящее железо, вы поддерживаете consistently высокую утилизацию или обязаны хранить данные в своей инфраструктуре. Для эпизодических нагрузок хостed-доступ обычно избегает больших фиксированных затрат на железо и операции.

Заключение

GLM-5.3-Flash необычно эффективна для модели с примерно 320B общих параметров, но ?Flash? не следует путать с ?small.? Её дизайн MoE с 18B активных параметров снижает вычислительную нагрузку, а гибридный линейный и разреженный механизм внимания делает длинный контекст существенно дешевле, однако веса всё равно требуют сотни гигабайт, если не использовать агрессивную квантизацию.

Практическое решение по деплойменту прозрачно: используйте vLLM или SGLang для серверной GPU-инфраструктуры; используйте KTransformers, когда у вас очень большая системная память рабочей станции и нужен нативный FP8 CPU-GPU инференс; используйте llama.cpp или Ollama, когда важны квантизация GGUF и простота экспериментов. Если ни один из этих профилей железа не соответствует вашей машине, используйте хостed-эндпоинт GLM-5.3-Flash, а не пытайтесь впихнуть 320B-модель в неподходящую локальную конфигурацию.