MiMo-V2.5-Proの技術仕様
| 仕様 | MiMo-V2.5-Pro |
|---|---|
| モデルID | mimo-v2.5-pro |
| 提供者 | Xiaomi MiMo |
| モデルタイプ | エージェント型大規模言語モデル |
| アーキテクチャ | スパース Mixture-of-Experts |
| 総パラメータ | 1.02T |
| 活性化パラメータ | 42B |
| コンテキストウィンドウ | 1Mトークン |
| 出力 | テキスト |
| アテンションアーキテクチャ | ハイブリッドSWA + グローバルアテンション |
| 学習トークン数 | 27T |
| ベースモデルの最大コンテキスト | 256K |
| Proの最大コンテキスト | 1M |
| ライセンス | MIT |
1.02Tの総パラメータと42Bのアクティブパラメータの区別は重要です。MiMo-V2.5-ProはMoEモデルであり、各トークンは利用可能なパラメータの一部のみを活性化します。これにより、密な1Tパラメータモデルと比べて推論時の計算プロファイルが大きく変わりますが、完全なモデルとしては依然として膨大なメモリとデプロイ要件を必要とします。
MiMo-V2.5-Proの主な機能は?
1. 兆規模のスパースMoEアーキテクチャ
MiMo-V2.5-Proは、1.02Tの総パラメータと42Bの活性化パラメータを備えています。
アーキテクチャは384個のルーティングされたエキスパートで構成され、各トークンにつき8個のエキスパートが活性化されます。モデルは70層のトランスフォーマで、1層の密層と69層のMoE層から成ります。
これにより、標準のMiMo-V2.5よりも大幅に高い表現力を確保しつつ、各トークンで1.02Tの全パラメータを活性化する計算コストを回避できます。
実務上の要点は次のとおりです。
MiMo-V2.5-Proは総容量としては兆規模のパラメータモデルですが、トークンごとの計算は42Bのアクティブパラメータ経路によって規定されます。
2. 100万トークンのコンテキスト
本モデルは最大1Mトークンのコンテキストをサポートします。
これは自律エージェントにとって最も重要な機能の一つで、長時間のワークフローで以下のような情報が蓄積されるためです:
- ツールの出力
- ソースコード
- 検索結果
- ドキュメント
- 推論の中間状態
- ユーザー指示
- 実行ログ
古いコンテキストを繰り返し要約して捨てる代わりに、エージェントはより大きな作業履歴を保持できる可能性があります。
Xiaomiの長コンテキスト評価では、32Kから1Mの入力トークンでモデルを検証しています。
3. ハイブリッド・スライディングウィンドウとグローバルアテンション
MiMo-V2.5-Proは、スライディングウィンドウアテンション(SWA)とグローバルアテンションの比率を6:1とし、128トークンのスライディングウィンドウを用います。
アーキテクチャには以下が含まれます:
- 60のSWA層
- 10のグローバルアテンション層
- 128トークンのSWAウィンドウ
Xiaomiによれば、この設計はKVキャッシュのストレージを約7倍削減しつつ、学習可能なアテンションシンクバイアスによって長コンテキスト性能を維持します。
これは本モデルにおける最も技術的に重要な要素の一つです。
全層がシーケンス全体に対してフルアテンションを行うと、1Mのコンテキストウィンドウは高コストになります。ハイブリッドアテンションにより、各層がグローバルに注目すべき情報量を減らしつつ、長距離関係のために専用のグローバルアテンション層を保持します。
4. マルチトークン予測
MiMo-V2.5-Proには軽量なMTPモジュールが3つ含まれています。
マルチトークン予測により、モデルは複数の将来トークンを予測し、スペキュレーティブ型のデコーディングや推論の高速化に活用できます。
Xiaomiによれば、このMTPアーキテクチャは、記載されたデプロイ構成下で推論時の出力速度を3倍にできます。
これは特にエージェントにとって重要で、長い軌跡にわたり大量の中間出力を生成する可能性があるため、トークン生成速度の向上は総タスク遅延に意味のある影響を与えます。
5. エージェント型強化学習
MiMo-V2.5-Proの後処理(ポストトレーニング)パイプラインには以下が含まれます:
- 教師ありファインチューニング
- 大規模なエージェント型強化学習
- マルチティーチャー・オンポリシー蒸留(MOPD)
学習目標は、静的なベンチマークの質疑応答だけでなく、複雑なエージェント行動に明確に指向されています。
このため、モデルの最も強い評価は、コーディング、ターミナル操作、長コンテキスト推論、およびエージェント系ベンチマークに集中しています。
6. 27Tトークンの事前学習
MiMo-V2.5-Proは約27兆トークンで事前学習されており、拡張された1Mコンテキストをサポートする前は、FP8混合精度とネイティブな32Kのシーケンス長を使用していました。
この事前学習規模と兆パラメータのMoEアーキテクチャの組み合わせにより、MiMo-V2.5-Proは現在のフロンティアモデル群に位置づけられます。
MiMo-V2.5-Proのベンチマーク成績は?
公開された評価結果は、汎用推論ベンチマークと実践的なコーディング/エージェント評価の両方を含んでいる点で特に有用です。
| ベンチマーク | MiMo-V2.5-Proの結果 | 評価種別 |
|---|---|---|
| SWE-Bench Verified | 78.9 | ソフトウェアエンジニアリング |
| SWE-Bench Pro | 57.2 | ソフトウェアエンジニアリング |
| Terminal-Bench 2.0 | 68.4 | ターミナルエージェント |
| GSM8K | 99.6 | 数学的推論 |
| GPQA Diamond | 66.7 | 大学院レベルの推論 |
| MMLU-Pro | 68.5 | 一般的推論 |
| MMLU | 89.4 | 一般知識/推論 |
| MMLU-Redux | 92.8 | 一般知識/推論 |
| HumanEval+ | 75.6 | コード生成 |
| MBPP+ | 74.1 | Pythonプログラミング |
| LiveCodeBench v6 | 39.6 | 競技プログラミング |
| ARC-Challenge | 97.2 | 推論 |
| AIME 2024/2025 | 37.3 | 競技数学 |
結果は、ソフトウェアエンジニアリングと数学的推論で特に強いプロファイルを示しています。SWE-Bench Verifiedの78.9とTerminal-Bench 2.0の68.4は、自律的なコーディングシステムを構築する開発者にとって特に重要です。
長コンテキスト性能
長コンテキストの結果は、標準的なベンチマークよりも興味深いと言えるでしょう。
GraphWalks評価において、MiMo-V2.5-Proは極端なコンテキスト長でも測定可能な性能を維持します:
| コンテキスト | BFS | Parents |
|---|---|---|
| 512K | 0.56 | 0.92 |
| 1M | 0.37 | 0.62 |
Xiaomiの報告によれば、先代のMiMo-V2-Proは128Kを超えると急速に劣化し、両サブタスクで1Mでは0.00に達しますが、V2.5-Proは1Mの全コンテキストでもゼロではない性能を維持します。
これは意味のある相違点です。MiMo-V2.5-Proの1Mコンテキストは単なる理論上の最大値ではなく、公開された長コンテキスト評価はその深部でも有用な性能を示しています。
実世界のエージェント事例
| タスク | 報告結果 |
|---|---|
| PKU SysY Compiler | 4.3時間 |
| コンパイラタスク中のツール呼び出し | 672 |
| コンパイラのテストケース合格数 | 233/233 |
| フルスタック動画編集ツール | 11.5時間 |
| 動画編集ツール向けに生成されたコード | 8,192行 |
| 人手介入 | 報告なし |
| 長期的ツール呼び出し | 約1,000 |
これらは標準化されたベンチマークスコアではなく、Xiaomiが報告したデモンストレーションです。
MiMo-V2.5-Pro と MiMo-V2.5 の比較
両モデルは同世代ですが、対象ワークロードが異なります。
| 仕様 | MiMo-V2.5 | MiMo-V2.5-Pro |
|---|---|---|
| 総パラメータ | 310B | 1.02T |
| 活性化パラメータ | 15B | 42B |
| コンテキスト | 1M | 1M |
| 層数 | 48 | 70 |
| ルーティングされたエキスパート | 256 | 384 |
| 1トークンあたりのエキスパート数 | 8 | 8 |
| フルアテンション層 | 9 | 10 |
| SWA層 | 39 | 60 |
| 主な焦点 | オムニモーダルエージェント | 複雑なエージェント/コーディング |
| 動画/音声/画像の理解 | あり | 主に言語/エージェントに特化 |
| 長期的エージェント性能 | 強力 | フラッグシップ |
したがって選択は単に「Proのほうが優れている」という話ではありません。
アプリケーションが画像・動画・音声のネイティブな理解を必要とする場合は、MiMo-V2.5がより自然な選択です。ワークロードが複雑な推論、ソフトウェアエンジニアリング、ターミナル操作、長時間稼働のエージェントを中心とするなら、MiMo-V2.5-Proがより適しています。
MiMo-V2.5-Proの制約
1. 入力はテキストのみ
mimo-v2.5とは異なり、Proモデルの公式仕様では入力モダリティがTextと記載されています。V2.5ファミリーのマルチモーダルモデルとして宣伝すべきではありません。
2. 自前ホスティングに高い計算資源が必要
本モデルは約1Tの総パラメータ/42Bのアクティブパラメータを持ち、従来の小型オープンモデルに比べてローカルデプロイの要求がかなり高くなります。
3. エージェント性能はフレームワークに依存
Xiaomiの約1,000回のツール呼び出しという主張は、適切なエージェントフレームワークを使用した場合に明示的に関連付けられています。モデル単体では、同じ長期的性能をアプリケーションが必ずしも達成できるとは限りません。
4. 推論コンテンツの取り扱い
思考モードとツール呼び出しを用いるマルチターンのエージェントアプリケーションでは、reasoning_contentを正しく保持する必要があります。不適切な取り扱いはAPIエラーを引き起こす場合があります。
最適なユースケース
大規模ソフトウェアエンジニアリング
- リポジトリ移行
- リファクタリング
- デバッグ
- テスト生成
- コンパイラ開発
- フルスタックアプリケーション開発
自律型コーディングエージェント
MiMo-V2.5-Proは、繰り返し以下を行う必要があるエージェントに特に適しています:
検査 → 修正 → 実行 → テスト → 診断 → 修正
長文書の推論
1Mコンテキストにより、以下に有用です:
- 契約書
- 技術仕様
- 大規模な研究コレクション
- 企業ドキュメント
複雑なビジネスエージェント
ツール呼び出し+ウェブ検索+構造化出力により、以下を支援できます:
- リサーチエージェント
- データ処理エージェント
- 企業ワークフローの自動化
- 多段意思決定システム
CometAPIでMiMo-V2.5-Pro APIを使用する方法
該当するCometAPIのモデルIDは次のとおりです:
mimo-v2.5-pro
開発者にとって、APIアグリゲーションレイヤーは、独立したプロバイダー統合を維持せずに、MiMo-V2.5-Proを他の高性能な推論/エージェントモデルと比較テストするのに特に有用です。
ステップ1:CometAPIのAPIキーを取得
CometAPIアカウントを作成またはログインし、APIコンソールからAPIキーを取得します。
環境変数として設定します:
export COMETAPI_KEY="YOUR_COMETAPI_KEY"
ステップ2:APIクライアントを設定
Xiaomiは、OpenAIおよびAnthropicの両プロトコルと互換性のあるAPIを提供しており、移行は比較的容易です。プロダクション統合では、特にツール呼び出し、ストリーミング、構造化出力、長コンテキスト要求などの高度な機能が必要な場合、mimo-v2.5-pro向けの現行のCometAPIエンドポイント/スキーマを使用してください。
ステップ3:MiMo-V2.5-Proをツールに接続
モデルは外部ツールに接続すると大幅に有用性が高まります。
例:
┌── Web Search
│
User → MiMo-V2.5-Pro ├── GitHub
│
├── Terminal
│
├── Database
│
└── Internal APIs
↓
Tool Results
↓
MiMo-V2.5-Pro
↓
Final Result
このアーキテクチャは、単純なチャットボット統合よりも、モデル本来の用途にはるかに適合しています。