Choose your path
qwen3.8 max ブログ
Qwen 3.8 Max をローカルにデプロイする方法：ハードウェア、vLLM、SGLang、量子化に関するガイド
以下は、Qwen 3.8 Max（開源重み Qwen3.8-2.4T-A95B）をローカルデプロイするための実践ガイドです。vLLM/SGLang、FP8/FP4、最大 1M コンテキスト、そして本番最適化の観点を網羅します。 前提 - モデルは 1M コンテキスト用に事前対応済み（訓練/微調整＋RoPE/NTK/YaRN 等の長文設定が含まれる）であることが望ましい。未対応チェックポイントに単純なスケーリングを適用すると品質・安定性が大きく劣化します。 - Hopper 世代（H100/H200/B100 など）の GPU を推奨（FP8、FlashAttention 世代最適化の恩恵が大きい）。 モデル取得 - 例（Hugging Face/ModelScope から LFS で取得・ローカル配置）: $ git lfs install $ git clone /models/Qwen3.8-2.4T-A95B - trust_remote_code が必要な場合は読み込み側で有効化（セキュリティポリシーに注意）。 GPU要件の見積もり（目安） - 重み（推論のみ）: - FP16/BF16: 約 2.0 GB × 1B パラメータ → 95B なら約 190 GB - FP8（weight-only + scale/metadata 含む）: 約 1.1–1.2 GB × 1B → 95B なら約 105–115 GB - 4-bit（AWQ/GPTQ 等 weight-only）: 約 0.55–0.6 GB × 1B → 95B なら約 52–57 GB - KV キャッシュ（非常に支配的。概算・GQA 前提の目安）: - FP16 相当で約 320 KB/トークン（GQA により MHA 比で圧縮済みと仮定） - FP8 で約 160 KB/トークン、FP4 で約 80 KB/トークン - 例: 128k トークンなら FP8 KV ≈ 160 KB × 128k ≈ 約 20 GB、1M トークンなら ≈ 約 160 GB - 実運用では 1M を常時保持するのは現実的でないことが多く、スライディングウィンドウ／KV オフロード／分割プリフィル等と併用するのが一般的。 量子化（FP8/FP4）の選択肢 - FP8 - Hopper 世代推奨。weight-only の FP8 チェックポイントを利用するのが安定。KV キャッシュも FP8 化できるランタイムなら併用でメモリ削減。 - FP4（4-bit） - AWQ/GPTQ/HQQ 等の weight-only 量子化チェックポイント推奨。自前量子化する場合は AutoAWQ/GPTQ ツールチェーンで生成し、vLLM/SGLang が読み込める形式で保存。 - 品質の要点 - 4-bit は大幅に省メモリだが長文・推論安定性への影響が大きい。Max クラスの長文前提なら FP8 を基準に、必要に応じて 4-bit を評価。 vLLM での起動（例） - インストール（CUDA/torch は環境に合わせる）: $ pip install "vllm>=0.5.4" - OpenAI 互換 API サーバ: $ python -m vllm.entrypoints.openai.api_server \ --model /models/Qwen3.8-2.4T-A95B \ --tensor-parallel-size 8 \ --dtype auto \ --max-model-len 1048576 \ --gpu-memory-utilization 0.90 \ --served-model-name qwen38-max \ --host 0.0.0.0 --port 8000 - 量子化・長文向けの追加例（環境・モデル対応に依存）: - KV キャッシュ圧縮: --kv-cache-dtype fp8（対応環境）または fp16/bf16 から選択 - チャンク化プリフィル: --enable-chunked-prefill True（大規模一括投入時の帯域効率改善） - CPU オフロード（足りない場合）: --swap-space （NVMe と組み合わせ） - シャーディング: --tensor-parallel-size N を GPU 台数に合わせる - 量子化重み: --quantization awq/gptq（該当フォーマットのモデルに一致させる） - クライアント呼び出し（OpenAI 互換）: - base_url=http://:8000/v1 model=qwen38-max を指定して chat/completions 等を利用。 SGLang での起動（例） - インストール: $ pip install "sglang>=0.3.2" - サーバ起動（例）: $ python -m sglang.launch_server \ --model /models/Qwen3.8-2.4T-A95B \ --tp 8 \ --host 0.0.0.0 --port 8000 - 量子化・長文向けの追加例（実装バージョンに依存）: - --quantization awq/gptq - --kv-cache-dtype fp8（対応時） - --max-context-len 1048576（モデル対応が前提） - RadixAttention/Chunked prefill/Prefill–decode 並列化などの最適化フラグを有効化 1M コンテキスト運用のポイント - モデル側前提 - 1M に対応したチェックポイントを利用（config.json の rope_scaling/positional 設定が既に含まれていることが望ましい）。 - ランタイム側 - KV キャッシュ圧縮（fp8/fp4）やオフロード（CPU/NVMe）、チャンク化プリフィル、スライディングウィンドウを併用。 - 実際は 1M を常時保持せず、重要ブロックを残しつつ古いブロックを捨てる/圧縮する戦略が現実的。 - アプリ設計 - 検索拡張（RAG）や要約・圧縮、階層化メモリを併用して実効コンテキストを制御。 本番最適化チェックリスト - 性能 - FlashAttention 2/3、Tensor Cores を活かす CUDA/ドライバを整備。 - バッチング/スケジューラ（vLLM/SGLang のデフォルト）を活用。max_num_seqs、max_tokens_per_batch をワークロードに合わせ調整。 - Speculative decoding/Chunked prefill/Continuous batching を有効化（サポート時）。 - Tensor parallel の分割数を GPU 台数・NVLink 括りに合わせ最適化。 - メモリ - FP8/FP4 の weight-only＋KV 圧縮、KV の CPU/NVMe オフロードを組み合わせて「重み＋KV」の合計が収まるよう設計。 - 長文要求が少ないトラフィックは短い max_model_len のプールへ分流（SLO を層分け）。 - 安定性/運用 - ウォームアップ（典型長で事前実行）、固定長プロンプトのキャッシュ、分散障害時のヘルスチェックと自動復旧。 - プロメテウス/ログ集約でトークンレイテンシ、KV ブロック使用率、OOM 直前指標を可視化。 - ノード間は NCCL/TCP チューニング（NVLink 推奨、跨りはレイテンシ増に注意）。 - 品質 - 量子化（特に 4-bit）は長文・推論安定性を A/B 測定。重要ジョブは FP8 を基準、必要なら混在デプロイ（ルーティング）で最適化。 - セキュリティ/再現性 - trust_remote_code の管理、モデル/依存の固定（hash/pin）、容器化（Docker/OCI）と CUDA 互換層の固定。 代表的な構成例（目安） - 構成A（高品質・長文重視）: 8×H100 80GB, FP8 weight-only, KV=FP8, max_model_len 128k（ピーク時のみ 512k〜1M をスイッチ）、CPU/NVMe オフロード有。 - 構成B（省メモリ・高密度）: 4×H100 80GB, 4-bit weight-only（AWQ/GPTQ）, KV=FP8, max_model_len 64k〜128k、長文要求は別プールへ転送。 - 構成C（大規模 1M 実験）: 8–16×H100 80GB 以上, FP8 weight-only, KV=FP4/FP8 併用、強オフロード＋チャンク化プリフィル＋スライディングウィンドウ、長文は分割投入。 トラブル対処の要点 - OOM: max_model_len/並列度/バッチサイズを下げる、KV 圧縮/オフロードを強化、TP を増やして再配置。 - 性能伸び悩み: スループット系フラグ（chunked prefill/continuous batching/speculative）とバッチ閾値を再調整、PCIe/ネットワーク帯域を確認。 - 品質低下: 量子化ビット幅/グループサイズを緩和、FP8 に戻す、長文時のみ高精度プールを使用。 補足 - 実際の起動フラグ名やサポート状況は vLLM/SGLang のバージョンで変わります。該当バージョンの --help とリリースノートを確認し、モデルの量子化形式・長文設定と揃えてください。
Qwen3.8 Max とは何ですか？
Qwen3.8-Max 解説：機能、ベンチマーク、Kimi K3 と DeepSeek V4 Flash の比較