Qwen3のトレーニングを解読する：深掘り

アリババの最新ハイブリッド推論大規模言語モデル（LLM）であるQwen3のリリースは、AI研究と応用の輪郭を再び塗り替えました。その驚異的な能力の背後には、多様なデータを用いた大規模な事前学習、革新的なアーキテクチャ、そして多段階の学習後パイプラインといった、綿密に設計された学習プロセスがあります。この記事では、その詳細を解説します。 Qwen3のトレーニング方法生データの取り込みから推論と展開の微調整まで各フェーズを検討し、設計とパフォーマンスを推進する重要な質問に答えます。

Qwen3 の事前トレーニングに使用されているデータは何ですか?

トークン数の拡大：兆単位から数十兆単位へ

Qwen3の基盤は前例のないコーパスの上に築かれています。36兆トークン以上 119以上の言語と方言を網羅しています。これは、2.5兆トークンで学習した前身のQwen18で使用されたトークン量のほぼ3倍に相当します。データ量を拡張することで、QwenXNUMXはより豊かな言語パターン、世界知識、そしてドメイン固有のコンテンツを取り込みます。

多様なデータソースを活用: Web、PDF、合成コンテンツ

この膨大なデータセットをまとめるために、アリババはウェブクロールと PDFのような文書 Qwen2.5-VLで処理することで、技術文書や学術資料の高品質な抽出を実現しました。さらに、Qwen2.5-MathとQwen2.5-Coderを活用したターゲット合成データ生成により、数百万点に及ぶ数学問題の解答とコードスニペットがコーパスに追加され、STEM教育とプログラミング能力の向上に貢献しました。

Qwen3 の事前トレーニング プロセスはどのように構成されていますか?

ステージ1：基礎知識の構築

In **ステージ1（S1）**Qwen3は訓練を受けている 30兆トークン以上 標準的な4KコンテキストのTransformerバックボーンを使用します。この段階では、人間の識字能力における「アルファベットの学習」に類似した、基本的な言語理解と一般的なドメイン知識が植え付けられます。

ステージ2：知識集約型能力の強化

入居 **ステージ2（S2）**データセットは、強調するために再調整されます 知識集約型コンテンツ—STEMテキスト、コーディングチャレンジ、推論課題。さらに 5兆トークン が取り込まれ、複雑な学術的および技術的問題に取り組むモデルの能力が強化されます。

ステージ3: コンテキストの長さを拡張する

最後に、 長期文脈事前トレーニング段階 高品質のドキュメントを活用してQwen3のネイティブコンテキストウィンドウを拡張します 32トークンこれにより、研究論文や複数ステップの指示などの長い入力を処理して推論できるようになります。

Qwen3 のパフォーマンスを可能にしたアーキテクチャ上の革新は何ですか?

密モデルと専門家混合モデル（MoE）

Qwen3は両方を提供します 密集 および 専門家の混合（MoE） バリアント。高密度モデルは0.6億から32億のパラメータを持つ一方、MoEバージョンはトークンごとに少数のエキスパート（例えば8人中128人）のみをアクティブ化するため、パフォーマンスを犠牲にすることなくアクティブコンピューティングを最大90%削減できます。

注意と正規化の強化

などのイノベーション ヘッドごとのQK正規化 再設計されたアテンションバイアスにより、大規模環境における安定性が向上しました。これらの改良により、より深いモデル（Qwen94-3B-A235Bでは最大22層）でも効率的な収束が可能になり、容量増加に伴う一貫したゲインが確保されます。

Qwen3 はハイブリッド推論をどのように実装しますか?

思考モード vs. 非思考モード

Qwen3の特徴は ハイブリッド推論:

• 思考モード: 思考の連鎖 (CoT) 推論を採用し、最終的な答えを出す前に問題を中間ステップに分割します。
• 非思考モード: 明示的な中間推論なしで迅速な応答を提供します。
  ユーザーは、 enable_thinking フラグまたはインラインタグ（/think, /no_think）、タスクの複雑さに合わせて推論を調整します。

推論予算の管理

Qwen3は、推論ステップに「計算予算」を割り当てることで、コストと品質のバランスを確保します。より複雑なタスクではより深い推論（より多くの計算）をトリガーできますが、より単純なクエリは高速のままです。 推論のトレードオフを細かく制御する .

Qwen3 のトレーニング後のパイプラインには何が含まれますか?

思考連鎖コールドスタートによる微調整

当学校区の 研修後の最初の段階 Qwen3を微調整 多様な長期CoTデータ数学、論理パズル、コーディング問題など、多岐にわたる問題に対応します。この「コールドスタート」フェーズでは、強化学習の前に、モデルの明示的推論能力を活性化させます。

推論のための強化学習

ステージ2ではコンピューティングをスケールアップし、 **ルールベース強化学習（RL）**手作業で作成された報酬関数を用いて推論経路の探索を誘導します。これにより、モデルはタスクから逸脱することなく、一貫性のある中間ステップを生成する能力が向上します。

思考モードの融合と一般強化学習

ステージ3では、推論と指示に合わせて調整されたデータが統合されます。思考モードの融合深い推論と一般的な指示の理解を融合させる。最終的に、ステージ4では、20以上の一般領域タスク（例：フォーマットの遵守、エージェント機能）に強化学習を適用し、望ましくない行動を修正し、流暢さを磨きます。

Qwen3 と Qwen2.5 の違いは何ですか?

Qwen2.5 により Alibaba はオープン LLM におけるリーダーシップを確立しましたが、Qwen3 ではいくつかの重要な機能強化がもたらされました。

これらのアップグレードにより、より汎用性が高く、正確で、世界中でアクセス可能なモデルが実現します。

Qwen3 はリアルタイム展開向けにどのように最適化されていますか?

Qwen3 のエンジニアリングでは、トレーニングだけでなく、低遅延の推論とスケーラブルな展開を重視して、実稼働レベルのエージェントと副操縦士をサポートします。

Cerebrasのハードウェアアクセラレーション

Cerebras は、Qwen3 のアーキテクチャに最適化されたウェハスケールのエンジンと特殊な推論カーネルを活用して、Qwen32-1.2B でリアルタイム推論を実証し、60 秒以内に応答を実現しました。これは、同等の推論モデルよりも最大 3 倍高速です。

クラウドの導入とAPIの準備

Alibaba Cloudは、APIスイートを通じてQwen3を提供しており、自動スケーリング可能なGPUクラスターと推論に最適化されたCPUノードを備えています。開発者は、組み込みのLoRAサポートを使用してQwen3のバリアントを微調整および展開することでリソース消費を削減し、大規模なAIサービスをコスト効率よく、かつアクセスしやすいものにすることができます。

開発者は Qwen3 をどのように活用できるでしょうか?

アリババはQwen3をリリースした。 Apacheの2.0 ライセンスにより、世界中の研究コミュニティとエンタープライズ開発者が、特殊なアプリケーション向けにモデル ファミリを採用、適応、拡張できるようになります。

どのようなバリエーションが利用可能ですか?

• 高密度モデル（0.6B、3B、22B、32B）
  これらのバリアントはオンプレミス展開やエッジ シナリオに最適で、簡単な統合で強力な機能を提供します。
• MoE モデル (合計 235 億のパラメータ、22 億のアクティブパラメータ)
  高スループットのクラウド サービス向けに設計されたこれらの大規模な構成は、最適化されたリソース使用率により、最大限の推論の深さと多言語の流暢性を実現します。

API とオンプレミスのオプションの違いは何ですか?

開発者は以下の中から選択できます。

• アリババクラウドAPI: 自動スケーリング機能を備えたマネージド エンドポイントで、迅速なプロトタイピングとグローバル配布を可能にします。
• セルフホスト型デプロイメント: Docker コンテナと Kubernetes マニフェストが提供され、データの保存場所とセキュリティが最も重要となるコンプライアンス重視のシナリオを容易に実現できます。
• コメットAPI: 開発者はアクセスできる クウェン 3 API経由 コメットAPICometAPI は、数百の AI モデルを集約する統合 REST インターフェースを提供します。

どのようなコミュニティとエコシステムのサポートが存在しますか?

• オープンソースリポジトリQwen GitHub は、モデルの重み、トレーニング スクリプト、微調整ツールキットをホストし、コミュニティ主導のイノベーションを促進します。
• 事前構築された統合: 一般的な ML フレームワーク (TensorFlow、PyTorch) およびサードパーティ プラットフォーム (LangChain、Hugging Face) のプラグインにより、価値実現までの時間が短縮されます。
• 研究協力Alibaba は、Qwen3 の完全な技術レポートを arXiv に公開し、アーキテクチャ上の決定とトレーニング方法論の透明性を提供しました。

---

大規模かつ多段階の事前学習、アーキテクチャの革新、そして洗練された学習後パイプラインにより、Qwen3はハイブリッド推論における新たなベンチマークを達成しました。柔軟な思考モード、効率的なMoEバリアント、そして豊富なデプロイメントエコシステムにより、QwenXNUMXはオープンソースAIの最前線に位置付けられ、研究者や開発者が次世代のインテリジェントエージェントを構築するための力となります。

スタートガイド

CometAPIは、数百ものAIモデルを単一のエンドポイントに集約する統合RESTインターフェースを提供します。APIキー管理、使用量制限、課金ダッシュボードも内蔵されており、複数のベンダーURLや認証情報を管理する手間が省けます。

開発者はアクセスできる クウェン 3 API経由 コメットAPIまず、プレイグラウンドでモデルの機能を調べ、 APIガイド 詳細な手順についてはこちらをご覧ください。アクセスする前に、CometAPIにログインし、APIキーを取得していることを確認してください。