Qwen3.8-Flash-Next は、Qwen3.8 ファミリーの単なる小型版や高速版ではない。Qwen はこれを、オープンウェイトのマルチモーダル MoE モデルであり、Qwen4 に採用されるアーキテクチャの早期プレビューと位置付けている。アテンション、残差接続、埋め込み容量、最適化を同時に見直し、トークンあたりの計算量を大幅に削減しつつ能力を高めることを目指している。
TL;DR
Qwen3.8-Flash-Next は、125B のメインモデルに 51B の N-gram 埋め込みテーブルを組み合わせつつ、トークンあたり有効化されるパラメータは 6B のみ。ネイティブで 262,144 トークンを扱え、YaRN により 1,000,000 トークンまで拡張可能。アーキテクチャは、Gated DeltaNet と Qwen Sparse Attention を 3:1 で混在させた設計、4 分岐の Gated Residual 接続、N-gram 埋め込み、大規模かつ超スパースな MoE エキスパートプール、Multi-Token Prediction、Muon ベースの学習から成る。
重要なのは総パラメータ数より効率だ。Qwen によれば、このモデルの学習コストはQwen3.7-Plus の約 1/9であり、ローンチ時点の評価では多くのコーディング、オフィスエージェント、マルチモーダル課題で従来の Qwen ベースラインを上回っている。これらはベンダーが報告する結果であり、独立検証ではなくローンチ時のエビデンスとして読むべきだ。
開発者向けには、オープンウェイトが Qwen のチャネルから提供され、マネージドの本番版は QwenCloud 上で Qwen3.8-Flash と呼ばれる。CometAPI は Qwen3.8-Flash-Next をモデル ID qwen3.8-flash-next で掲載しており、他の最先端モデルと並ぶ統一的なルートを提供する。
重要なポイント
- 125B のメインモデル + 51B の N-gram 埋め込み、トークンあたり 6B のアクティブパラメータ。
- 3 GDN : 1 QSA のハイブリッドアテンションパターン により、高効率なメモリと精密な長距離リトリーバルを両立。
- 262,144 トークンのネイティブ文脈長、YaRN により最大 1M まで拡張。
- QSA で 1M コンテキスト時のプレフィル最大 7.6 倍、デコード最大 4.9 倍のカーネル高速化 を報告。
- 残差ストリームを4 つのゲート付き分岐に拡張 し、層間の情報フローと学習安定性を向上。
- 公式ローンチ表では SWE-bench Pro、CoWorkBench、JobBench、Toolathlon、AndroidWorld、RealWorldQA で強い結果を示す一方、全ベンチマークでの完全制覇ではない。
- 本リリースはアーキテクチャのプレビュー位置づけであり、現行のベンチマーク順位だけでなく、Qwen4 に向けた設計方針を示す点にも意義がある。
What Is Qwen3.8-Flash-Next?
Qwen3.8-Flash-Next は、ビジョンエンコーダと超スパース MoE 言語バックボーンを備えた因果マルチモーダル言語モデル。公式モデルカードによれば、48 層構成、512 エキスパート、トークンあたり 10 のルーティングエキスパート + 1 共有エキスパート を持ち、3 層の Gated DeltaNet に 1 層の Qwen Sparse Attention が続く隠れレイアウトを反復する。
このリリースは Qwen3-Next と同様の役割を担い、次のフルファミリーにスケールされる前にアーキテクチャ変更を露出する。Qwen は本モデルを、Qwen4 を支えるアーキテクチャの実験的プレビュー と明言しており、提供効率や長コンテキスト、オープンモデルのアーキテクチャ研究の方向性に関心のあるエンジニアには特に興味深い。
4 core components of Qwen3.8-Flash-Next
本モデルは、アテンション、残差フロー、埋め込み容量、最適化という 4 つの中核コンポーネントを同時に変更している。長コンテキストや大規模化で、あるコンポーネントの効率化が別のボトルネックに相殺されないよう、協調設計が重視されている。
Hybrid Attention: GDN + Qwen Sparse Attention
大半の層はグローバルアテンションを行わない。代わりに、4 層中 3 層で Gated DeltaNet を用いて履歴情報を固定サイズの状態に圧縮し、4 層目で厳密なリトリーバルのためのグローバルアテンションを適用する。このグローバルアテンションは Qwen Sparse Attention（QSA）として再設計されている。
QSA は各トークンを個別に探索しない。軽量なインデクサがまずシーケンスをマイクロブロックに分割し、重要なブロックを推定して選択領域にのみアテンションを向ける。Qwen の説明では、これによりアテンション計算と、関連コンテキストを見つけるためのインデクシングのオーバーヘッドの両方が削減される。スパースインデックスを、隣接するアテンション層間の類似性に依存せず各アテンション層内で独立に構築するため、ハイブリッドネットワークとの相性が良い。
効率の数値は大きい。1M トークンのコンテキストで、Qwen は QSA アテンションカーネルにおけるプレフィル最大 7.6 倍、デコード最大 4.9 倍の高速化 を報告している。プレフィックスキャッシュのヒット率 90% の高再利用サービング実験では、1M コンテキストでフルモデルが Qwen3.7-Plus 比 8.6 倍のプレフィルスループット に達した。
Gated Residual: Four Paths Instead of One
従来の Transformer は単一の残差ストリームを繰り返し読み書きする。Qwen3.8-Flash-Next は代わりに、Gated Residual により残差ストリームを 4 つの並列分岐に拡張 する。要素単位の読み出しゲートが各分岐から取り込む量を決定し、分岐レベルの書き込みゲートが書き戻す内容を決める。
これにより、有用な特徴を深さ方向で保持しつつ、すべての特徴を同一の連続混合チャネルに通す必要がなくなる。Qwen はまた、ゲートが活性化の外れ値を抑制し、残差状態を FP8 に格納でき、メモリトラフィックを低減できると報告している。要点は単純な残差容量の増加ではなく、層間での情報の制御ルーティングにある。
N-gram Embedding: More Capacity Without Proportional Compute
本モデルは、125B のメインバックボーンに加えて51B の N-gram 埋め込みパラメータ を導入する。通常の単語埋め込みが単一トークンから索引付けするのに対し、N-gram 埋め込みはバイグラムやトライグラムなどの局所的なトークンパターンを用いる。これにより、再発する局所パターンに対する大規模なルックアップ型メモリが得られる。
特異なのは容量の所在だ。埋め込みが必要となる前に参照アドレスを確定できるため、テーブルをホストメモリに保持し、GPU 計算を継続しながら非同期にプリフェッチできる。つまり、追加の 51B パラメータは、51B の追加の密行列計算パラメータのようには振る舞わない。計算集約的なモデルパラメータと、低計算コストのルックアップメモリという 2 種のリソースを実質的にスケールしている。
Muon and Training Optimization
Qwen は、アテンション、GDN、MoE エキスパートの主たる重みといった二次元線形写像向け Muon オプティマイザ で本アーキテクチャを学習しつつ、埋め込み、ルータ、低ランクの Gated Residual パラメータには AdamW を使う。QKV や SwiGLU 射影のような融合行列は直交化の前に独立した線形変換へと分割される。
また、新アーキテクチャに合わせてスケーリング則を再フィットし、従来のバッチサイズウォームアップが不要であると報告。バッチサイズを徐々に増やしても最終結果は改善せず、代わりに最適化ステップが 18.8% 余計に必要 だったという。最終レシピは初めから目標バッチサイズで開始する。
Ultra-Sparse MoE and Multi-Token Prediction
公式モデルカードは、512 エキスパート、トークンあたり 10 のルーティングエキスパートと 1 共有エキスパートがアクティブ と記載している。巨大なエキスパートプールにより、トークンごとにモデル全体を有効化せずに蓄積容量を増やせる。1 層の Multi-Token Prediction（MTP）モジュールは複数ステップで学習され、メインバックボーンを支えつつ推測デコーディングの受理率を高める。
Qwen3.8-Flash-Next Benchmark Performance
Qwen は言語、コーディング、エージェント、ビジョン言語の広範な評価を公開している。多くの比較モデルを Qwen のハーネスで再実行している点で有用だが、あくまでベンダーが報告するローンチ評価であり、独立再現ではない。いくつかの行はベンチマーク固有のハーネスやジャッジを用いているため、最も安全な解釈は方向性だ。すなわち、Qwen3.8-Flash-Next が強い領域と、競合が依然として先行する領域を示す。
コーディングとエージェント性能
| ベンチマーク | Qwen3.8-Flash-Next | Qwen3.8-27B | Qwen3.7-Plus | DeepSeek V4 Flash | Claude Opus 4.6 |
|---|---|---|---|---|---|
| DeepSWE 1.1 | 58.7 | 42.2 | 16.5 | 54.4 | -- |
| SWE-bench Pro | 62.5 | 61.7 | 55.8 | 56.0 | 53.4 |
| SWE-bench Multilingual | 81.0 | 73.8 | 75.8 | -- | 77.5 |
| NL2Repo-Bench | 48.1 | 42.3 | 41.1 | 54.2 | 47.6 |
| CoWorkBench | 73.9 | 70.7 | 65.1 | 45.1 | 68.2 |
| JobBench | 55.7 | 33.4 | 27.6 | 41.3 | 36.6 |
| Toolathlon Verified | 73.5 | 67.1 | 50.6 | 70.3 | -- |
| IFBench | 81.3 | 79.5 | 79.1 | 79.2 | 62.5 |
| GPQA Diamond | 91.7 | 89.2 | 90.3 | 90.8 | 91.3 |
| HLE | 35.9 | 30.8 | 34.7 | 33.8 | 40.0 |
| LiveCodeBench v6 | 91.9 | 90.3 | 89.6 | 90.6 | 88.8 |
コーディングに関する結果は力強いが、ニュアンスもある。Qwen3.8-Flash-Next は、SWE-bench Pro、SWE-bench Multilingual、CoWorkBench、JobBench、Toolathlon Verified、LiveCodeBench v6 で掲示の比較セットをリードする。一方で、DeepSeek V4 Flash は NL2Repo-Bench で先行し、Claude Opus 4.6 は HLE をリードする。したがって、普遍的なベンチマーク制覇より、効率性を見出しにする方が妥当性が高い。
従来の Qwen ベースラインに対する最も顕著な伸びは、長期タスクに現れる。CoWorkBench は Qwen3.7-Plus の 65.1 から 73.9 に、JobBench は 27.6 から 55.7 に上昇。CoWorkBench は Qwen 社内ベンチマークのため独立再現が望まれるが、コスト効率の高いエージェントやオフィスワークフローに焦点を当てるアーキテクチャの狙いと整合的だ。
マルチモーダル性能
| ベンチマーク | Qwen3.8-Flash-Next | Qwen3.8-27B | Qwen3.7-Plus | Claude Opus 4.6 |
|---|---|---|---|---|
| ClawEval-MM (Pass@3 / Avg) | 64.4 / 60.4 | 57.4 / 56.9 | 57.4 / 60.1 | 52.5 / 54.7 |
| RecreationBench | 49.9 | 47.1 | 30.2 | -- |
| AndroidWorld | 84.5 | 81.9 | 81.0 | 62.0 |
| OSWorld 2.0 (Binary / Partial) | 19.4 / 52.3 | 19.4 / 48.0 | 2.8 / 21.5 | -- |
| Vision2Web | 64.0 | 62.9 | 42.1 | -- |
| ERQA | 72.3 | 65.5 | 69.8 | 40.8 |
| LVBench | 76.6 | 72.4 | 76.2 | 63.0 |
| RealWorldQA | 88.5 | 85.9 | 86.9 | 73.9 |
| MathVision (without / with CI) | 90.6 / 95.7 | 90.0 / 94.6 | 90.3 / 88.7 | 65.5 / -- |
| CharXiv RQ (without / with CI) | 84.6 / 90.6 | 83.7 / 90.2 | 85.8 / 85.9 | 66.0 / -- |
これらのマルチモーダル結果は、これが単なるコーディング特化の Flash モデルではないという見方を裏付ける。Qwen3.8-Flash-Next は Qwen の表で、AndroidWorld 84.5、Vision2Web 64.0、LVBench 76.6、RealWorldQA 88.5 を記録。モデルカードには画像と動画入力の例もあり、時間規模が時間単位のビデオワークロードにおける高フレームレートサンプリングの推奨も提示されている。ビデオワークロード。
Qwen3.8-Flash-Next vs Other Models
有用な比較のためには、トークンあたりどれだけの計算が有効化されるか、モデルのモダリティとコンテキストの幅、代表的ワークフローでの性能という 3 つの観点を分けて考えるべきだ。総パラメータ数だけでは答えにならない。
Qwen3.8-Flash-Next vs Qwen3.8-27B vs Qwen3.7-Plus
| ディメンション | Qwen3.8-Flash-Next | Qwen3.8-27B | Qwen3.7-Plus |
|---|---|---|---|
| モデルパラメータ | 125B + 51B N-gram 埋め込み | 27B | 397B |
| アクティブパラメータ | 6B | 27B | 17B |
| ネイティブ文脈長 | 262K | Qwen 比較設定で 262K | 前世代の長文脈モデル |
| DeepSWE 1.1 | 58.7 | 42.2 | 16.5 |
| CoWorkBench | 73.9 | 70.7 | 65.1 |
| JobBench | 55.7 | 33.4 | 27.6 |
| AndroidWorld | 84.5 | 81.9 | 81.0 |
鍵は、アクティブパラメータあたりの能力だ。Qwen3.8-Flash-Next はトークンあたり 6B のパラメータを有効化する一方、Qwen3.8-27B は 27B、Qwen3.7-Plus は 17B を有効化する。それでも、掲示の DeepSWE、CoWorkBench、JobBench、AndroidWorld のスコアで Qwen3.8-Flash-Next が先行している。トレードオフはメモリフットプリントだ。スパース化はアクティブ計算量を減らすが、最終的にどこかに格納すべきモデル容量の総量は減らない。
Qwen3.8-Flash-Next vs DeepSeek V4 Flash vs Claude Opus 4.6
| ディメンション | Qwen3.8-Flash-Next | DeepSeek V4 Flash | Claude Opus 4.6 |
|---|---|---|---|
| ウェイト | オープンウェイト | オープンウェイト | クローズド |
| 報告パラメータプロファイル | 125B メイン + 51B N-gram；6B アクティブ | 284B 合計；13B アクティブ | 非公開 |
| 主たる効率の要点 | QSA + GDN + 6B アクティブ MoE + ルックアップメモリ | 高スループットのスパース MoE | マネージドな先端推論とエージェント基盤 |
| ネイティブなモダリティ | テキスト・画像・動画 → テキスト | テキスト指向の Flash ファミリー；ビジョン系は CometAPI に別ルートあり | テキスト + ビジョン/ファイル（ホスト API 経由） |
| SWE-bench Pro* | 62.5 | 56.0 | 53.4 |
| CoWorkBench* | 73.9 | 45.1 | 68.2 |
| NL2Repo-Bench* | 48.1 | 54.2 | 47.6 |
| HLE* | 35.9 | 33.8 | 40.0 |
DeepSeek V4 Flash は、Qwen の比較では NL2Repo-Bench で依然として強く、リポジトリレベルのコード生成に重要だ。Claude Opus 4.6 は同表の HLE で優位にあり、オープンなデプロイ対象ではなくクローズドなマネージドモデルを代表する。Qwen3.8-Flash-Next は、オープンウェイト、ネイティブなマルチモーダル、長文脈エンジニアリング、そして非常に小さなアクティブパラメータ予算の組み合わせで差別化される。
Qwen3.8-Flash-Next vs Qwen3.8-Max
| ディメンション | Qwen3.8-Flash-Next | Qwen3.8-Max |
|---|---|---|
| 役割 | 効率重視のオープンなアーキテクチャプレビュー | Qwen3.8 のフラグシップ |
| メイン/総スケール | 125B メイン + 51B N-gram；6B アクティブ | 合計 2.4T；CometAPI モデルページ上のアクティブは約 95B |
| アーキテクチャの強調点 | QSA、GDN、Gated Residual、N-gram 埋め込み、Muon | はるかに大規模なスケールでの最大限のフロンティア能力 |
| 最適用途 | 大量エージェント、コーディングアシスタント、マルチモーダル自動化、セルフホスト | 最難度の推論、大規模エンタープライズエージェント、能力最優先ワークロード |
| コンテキスト | ネイティブ 262K；YaRN で最大 1M | 現行の Qwen3.8 フラグシップルートで 1M クラスのホスティッド文脈長 |
Qwen3.8-Max の仕様は現行の CometAPI モデル掲載に基づく。
区別は単純だ。Qwen3.8-Max は能力最優先のフラグシップで、Qwen3.8-Flash-Next はアーキテクチャと効率の実験。両者の選択は、ボトルネックが絶対能力か、それとも多数の長文脈・ツール活用タスクを運用するコストかで決めるべきだ。
Qwen3.8-Flash-Next Pricing and Availability
Qwen3.8-Flash-Next のオープンウェイトは Hugging Face と ModelScope で公開されている。マネージド提供では、本番版は QwenCloud で Qwen3.8-Flash と呼ばれ、デフォルトで 1M コンテキストと公式組み込みツールが有効になっている。
Qwen はマネージド本番価格を 入力 100 万トークンあたり $0.16、出力 100 万トークンあたり $0.47 と記載している。これは QwenCloud の本番モデル Qwen3.8-Flash の価格であり、オープンウェイトのセルフホスティングには該当しない。
| ルート | 入力 | 出力 |
|---|---|---|
| QwenCloud 本番モデル（Qwen3.8-Flash） | $0.16 / 1M tokens | $0.47 / 1M tokens |
| オープンウェイトのセルフホスティング | インフラ依存 | インフラ依存 |
| CometAPI ルート | ライブのモデルページを確認 | ライブのモデルページを確認 |
QwenCloud の価格は 公式の Qwen ローンチ記事に基づく。CometAPI の課金はライブのモデルページで要確認。
CometAPI 利用者向けには、専用の Qwen3.8-Flash-Next モデル が qwen3.8-flash-next というルートで提供される。ルーティング、上流の可用性、課金はオープンウェイトのリリースと独立に変動し得るため、本番統合では価格を固定的に仮定せず、CometAPI のライブカタログを参照すべきだ。
CometAPI Recommendation
Qwen3.8-Flash-Next は間もなく CometAPI 経由でも利用可能になる見込み。CometAPI は 500+ の主要プロバイダモデルを集約する単一の OpenAI 互換エンドポイント（https://api.cometapi.com/v1）を提供する。これによりベンダーロックインが低減され、Qwen3.8-Flash（プラットフォーム経由または関連する Qwen エンドポイントで利用可能になり次第）の実験が容易になり、用途に応じてモデルを組み合わせる本番導入（例：コスト効率の高いコーディングエージェントに Qwen、特殊な推論に別モデル）も簡素化される。ドキュメントとクイックスタートは apidoc.cometapi.com および CometAPI のサイトにある。
オープンウェイトを自前でホストする場合、QwenCloud を使う場合、あるいは CometAPI のような統一プラットフォームを経由する場合のいずれでも、Qwen3.8-Flash-Next は高性能・長文脈のマルチモーダルエージェントへの障壁を下げる。
What Can Qwen3.8-Flash-Next Do?
1. 大量同時実行のコーディングエージェント
6B のアクティブパラメータ予算と、Qwen の評価における SWE-bench Pro 62.5 の組み合わせにより、Qwen3.8-Flash-Next は多並列セッションを走らせるコーディングシステムに特に有望。コードレビュー、課題トリアージ、リポジトリナビゲーション、テスト生成、反復パッチ適用など、スループットが単発の賢さと同等に重要な用途が該当する。
2. 長期的なオフィス・ナレッジワーク
CoWorkBench と JobBench はモデルの位置付けの中心だ。アーキテクチャは、コンテキストの反復読み込み、ツール呼び出し、状態更新、継続作業といったエージェントループ向けに設計されている。これは、ドキュメントワークフロー、スプレッドシート分析、レポート作成、リサーチの統合、業務プロセス自動化に自然に対応する。
3. マルチモーダルなコンピュータ/モバイルエージェント
画像・動画入力、AndroidWorld の性能、OSWorld の評価、Vision2Web の結果により、GUI エージェントにも適用可能。スクリーンショットの解釈、モバイル UI 操作、アプリレイアウトの再現、視覚状態とツール呼び出しの統合などの背後の推論層として機能できる。
4. 長尺動画と視覚推論
公式モデルカードには動画入力の明示的な例と、時間規模が時間単位の動画前処理に関するガイダンス が含まれる。これにより、動画 QA、長尺動画検索、視覚イベント抽出、動画理解と下流ツールを組み合わせるワークフローに有用。
5. 100 万トークン規模のリサーチ/リポジトリワークフロー
オープンモデルはネイティブで 262,144 トークン、YaRN で 1,000,000 まで拡張可能。重要なのは、1M は拡張でありオープンモデルのネイティブ文脈長ではない点だ。巨大リポジトリやリサーチコーパスに対して、QSA は密なグローバルアテンションよりも長文脈のリトリーバルコストを実用的にすることを意図している。
How Can Developers Run Qwen3.8-Flash-Next?
開発者は Hugging Face からオープンウェイトをダウンロードし、Transformers、vLLM、SGLang、TokenSpeed で実行できる。Qwen はテキストとマルチモーダル入力の双方について、OpenAI 互換の Chat Completions の例を提供している。
例えば、公式モデルカードは vLLM で Qwen/Qwen3.8-Flash-Next を提供し、/v1/chat/completions を通じて呼び出す方法を示す。画像と動画入力も、OpenAI 互換インターフェースでの例が示されている。
Qwen3.8-Flash-Next はデフォルトで thinking モードで動作する。開発者は enable_thinking、preserve_thinking、reasoning_effort により thinking の挙動を制御でき、ドキュメント化された reasoning_effort のレベルは xhigh、medium、low である。
What Are the Limitations of Qwen3.8-Flash-Next?
最大の実務的制約はハードウェアコストだ。アクティブ化されるのは 6B の言語モデルパラメータに過ぎないが、チェックポイントには 125B の言語パラメータに 51B の N-gram 埋め込み、さらに 4B の MTP パラメータが含まれる。現在のリポジトリは約 360 GB であり、ローカル展開は依然としてインフラが重い。
2 つ目の制約は、ネイティブの文脈長が 262K であって 1M ではない点だ。モデルは 1M トークンに拡張できるが、CometAPI やモデルページに単に「1M ネイティブコンテキスト」と記すべきではない。正確な表現は「ネイティブ 262K、1M に拡張可能」。
最後に、ベンチマーク性能は一様ではない。Qwen3.8-Flash-Next はコーディングとエージェント系で非常に競争力があるが、すべてのベンチマークをリードするわけではない。例えば、HLE では Claude Opus 4.6 が 40.0、Flash-Next は 35.9、NL2Repo-Bench では DeepSeek-V4-Flash-0731 が掲示のモデル中でリードしている。
Qwen3.8-Flash-Next : What It Signals for Qwen4
本リリースの広範な意義は、Qwen4 を支える見込みのアーキテクチャの早期プレビューとしての役割にある。Qwen3.8-Flash-Next は、Qwen Sparse Attention、Gated DeltaNet、4 分岐の Gated Residual、N-gram 埋め込み、超スパースな MoE エキスパートプール、Multi-Token Prediction を統合する。これらの選択は、アクティブ計算を同じ割合で増やすことなく、容量を拡大し、長文脈を強化し、より強いマルチモーダルとエージェント性能を追求する Qwen の方向性を示している。
最終評価
Qwen3.8-Flash-Next の重要性は、効率問題の捉え方を変える点にある。全パラメータを同一視するのではなく、比較的小さなアクティブな MoE 経路を、非常に大きなルックアップ型メモリと、長文脈向けに設計されたスパースリトリーバル機構と組み合わせる。それにより、トークンあたりの行列計算を同じ割合で増やさずに容量を高める複数の独立したレバーを Qwen に与える。
開発者にとって、これは大量のコーディングアシスタント、長文脈エージェント、マルチモーダル自動化、セルフホストの実験に魅力的な選択肢となる。Qwen のロードマップ全体にとってはさらに重要で、Qwen は本リリースを通じて Qwen4 に向けて洗練していくアーキテクチャの方向性を明確に示している。