先に結論
コーディングと推論では、まず DeepSeek V4.1 Flash をエージェント型ソフトウェア作業に、Kimi K3 を永続的なリポジトリエージェントに、Qwen3.8-Max をコードと画像・ドキュメント証拠が混在するエンジニアリングに、GLM 5.3 を防御的セキュリティレビューに用い、そのうえで見出しスペックではなく固定の単一リポジトリテストで勝者を選ぶ。
コーディングと推論モデルのショートリスト
| Model | 最初に使う用途 | コーディング/推論指標 | 判断時の注意点 |
|---|---|---|---|
| DeepSeek V4.1 Flash deepseek-v4.1-flash | リポジトリ修復、ターミナルエージェント、コード生成、ビジュアルデバッグ | Terminal-Bench 2.1: 90.6; DeepSWE v1.1: 74.2; GPQA Diamond: 90.9 | 公式結果は最大努力設定に基づく。実運用の努力レベルでコストと合格率を検証すること。 |
| Kimi K3 kimi-k3 | 長時間稼働のリポジトリエージェントと検索負荷の高いエンジニアリングワークフロー | TerminalBench 2.1: 88.3; FrontierSWE: 81.2; BrowseComp: 91.2 | 数値はベンダー報告で、評価設定が他の行と完全には一致しない。 |
| Qwen3.8-Max qwen3.8-max | スクリーンショット、PDF、図、動画などの証拠に依存するコードレビューやデバッグ | Terminal-Bench 2.1: 86.6; SWE-bench Pro: 67.7; PaperBench: 93.0 | ドキュメントとターミナルの強い信号は、難度の高いリポジトリ修復で同じ結果を保証しない。 |
| GLM 5.3 glm-5.3 | 防御的コードレビュー、脆弱性発見、セキュリティトリアージ | CyberGym: 84.5%; ExploitBench: 54.4% | セキュリティベンチマークは用途が狭い。一般的なコーディングの優位性を示すものではない。 |
このショートリストは意図的に価格、入力形式、最大コンテキストを主要な意思決定から除外している。これらはデプロイ制約であり、最初のフィルタは、同一テストハーネス下で正しいパッチを生成し、適切な制御フローをトレースし、ツールを確実に使い、推論を説明できるかどうかである。
コーディングと推論のモデル選定ロジック
- タスクの実証で選ぶ: リポジトリ修復、コードレビュー、ターミナルエージェント、またはセキュリティ分析タスクを使い、汎用チャットプロンプトは避ける。
- コーディング品質と推論品質を分離: 実行可能性の正確さ、根本原因分析、ツール使用、制約順守を個別に採点する。
- 価格、入力形式、コンテキスト長は、モデルがコーディング/推論テストを通過した後のデプロイ制約として扱う。
DeepSeek V4.1 Flash: コーディング性能
DeepSeek V4.1 Flash は本比較におけるコーディング優先の DeepSeek 候補である。公式モデルカードの最大努力評価では、Terminal-Bench 2.1 が 90.6、DeepSWE v1.1 が 74.2、NL2Repo-Bench が 65.4、Codeforces レーティングが 3471 と報告されている。これらの結果は、リポジトリ修復、ターミナル操作、コードベース生成をまずテストすべき業務であることを示すが、あなたの CI を通過する保証ではない。実行可能パッチと人的修正時間で評価し、コードスタイルのみで判断しないこと。
DeepSeek V4.1 Flash: 推論性能
推論について、同じ公式リリースは GPQA Diamond で 90.9、reasoning_effort=100 の MathArena Apex で 65.6 を報告している。これは多段デバッグ、仮説形成、ツールベースの調査を支える一方で、努力設定を比較記録に必ず含めるべき理由でもある。運用で想定するより低い努力レベルでもう一度テストを実施しないと、ベンチ結果と本番のレイテンシ/コストプロファイルが異なるシステムを記述することになる。
Kimi K3: コーディングと推論性能
Kimi K3 は、多数のリポジトリ操作にわたって計画を一貫させる必要があるコーディングエージェントにおける最有力候補である。公表値には TerminalBench 2.1 の 88.3、FrontierSWE の 81.2、ProgramBench の 77.8 が含まれており、同モデルページは検索志向の推論として BrowseComp 91.2、DeepSearchQA 95.0 も報告している。調査、編集、実行、失敗からの復旧を要するタスクで評価せよ。高スコアは有用な根拠だが、長時間の制約順守を保てるかは自分のエージェントスキャフォールドでしか示せない。
Qwen3.8-Max: コーディングと推論性能
Qwen3.8-Max は、コーディングがソーステキスト以外に依存する場面で最も適合する。Terminal-Bench 2.1 の 86.6 は強いターミナル操作を示す一方、SWE-bench Pro の 67.7 はリポジトリ修復の上限が厳しめであることを示唆する。PaperBench 93.0 と IFBench 82.8 は、コードにドキュメント、スクリーンショット、図、詳細な指示が伴うタスクの適合性を強化する。証拠駆動のデバッグに使いつつ、パッチの正確性とテスト結果は別の受け入れ基準として扱うこと。
GLM 5.3: コーディングとセキュリティ推論
GLM 5.3 は、汎用コーディングの勝者ではなく、セキュリティ推論に特化した候補である。CyberGym の 84.5% に対して ExploitBench が 54.4% という結果は明確な傾向を示す。すなわち、脆弱性発見は、信頼できるエクスプロイト完遂より強い。したがって、防御的コードレビュー、攻撃面マッピング、データフロートレースが適切な初期テストとなる。比較可能なリポジトリコーディングの証拠が得られるまでは、これらのセキュリティ結果を通常の機能開発に外挿しないこと。
公開済みのコーディング/推論ベンチマーク
以下の数値は、コーディング、推論、またはセキュリティに関する狭い問いに答えるものである。ベンダーごとにハーネス、プロンプト、ツールスキャフォールド、推論設定が異なるため、単一の普遍的リーダーボードを形成しない。各結果をテストケース設計に用い、自身の環境で受理されたパッチと検証済みの説明を比較せよ。
| Model | コーディングの証拠 | 推論の証拠 | 有用な解釈 |
|---|---|---|---|
| DeepSeek V4.1 Flash | Terminal-Bench 2.1: 90.6; DeepSWE v1.1: 74.2; NL2Repo-Bench: 65.4 | GPQA Diamond: 90.9; MathArena Apex: 65.6 | エージェント型コーディングと多段デバッグでまずテスト。毎回 reasoning_effort を記録すること。 |
| Kimi K3 | TerminalBench 2.1: 88.3; FrontierSWE: 81.2; ProgramBench: 77.8 | BrowseComp: 91.2; DeepSearchQA: 95.0 | 計画の連続性が重要な長時間リポジトリ/検索ワークフローでテスト。 |
| Qwen3.8-Max | Terminal-Bench 2.1: 86.6; SWE-bench Pro: 67.7 | PaperBench: 93.0; IFBench: 82.8 | コードとドキュメント/ビジュアル証拠を組み合わせるエンジニアリングタスクでテスト。 |
| GLM 5.3 | CyberGym: 84.5% | ExploitBench: 54.4% | 防御的な脆弱性分析に用いる。発見の強さはエクスプロイトの信頼性を意味しない。 |
公平なコーディング/推論テスト
全モデルを同一のシステムプロンプト、リポジトリスナップショット、ツールスキーマ、タイムアウト、再試行規則、受け入れテストで実行する。モデル固有の推論コントロールは、その検証が目的でない限り、ドキュメント記載のデフォルトに保つ。
- "リポジトリパッチ:" 「公開 API を変更せずに、失敗しているページネーションテストを修正せよ。パッチを返し、根本原因を説明せよ。」フルテストスイートが人的パッチなしで合格した場合のみ受け入れる。
- "ファイル横断の推論:" 「これらのファイルをまたぐ認証フローをトレースし、期限切れトークンを許してしまう条件を特定せよ。」正しいファイルと制御フローパスを引用した場合のみ受け入れる。
- "ツール使用エージェント:" 「リポジトリを検査し、計画を提案し、最低限のファイルを編集し、テストを実行し、2回の失敗後に停止せよ。」ツール呼び出しの妥当性、再試行、停止条件の順守を記録する。
- "コスト重視のトリアージ:" 「この100件の課題を分類し、重複を特定し、最もリスクの高い10件のバグを推奨せよ。」トークン単価ではなく、1ドルあたりの受理分類数を測定する。
各タスクについて、合否、人的修正、入力トークン、出力/推論トークン、レイテンシ、再試行、総コストを記録する。トークン単価が最安でも、再試行やレビューが増えると総コストは高くなり得る。
受理タスクあたりの LLM API コスト
価格確認日: 2026年9月14日。以下は 1M トークンあたりの CometAPI 現行価格。例では入力 100K トークン、出力 10K トークン、キャッシュヒット/再試行/ツール課金/税金/アカウント割引なしとする。CometAPI は表示公式価格に対して 20% 割引を掲示しており、DeepSeek V4.1 Flash は平日 01:00–04:00 および 06:00–10:00 UTC に 2× のリクエスト倍率を受ける場合がある。
| Model | Input / 1M | Output / 1M | 100K input + 10K output |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.12 | $0.48 | $0.0168 |
| GLM 5.3 | $1.12 | $3.528 | $0.1473 |
| Qwen3.8-Max | $1.60 | $4.80 | $0.2080 |
| Kimi K3 | $2.40 | $12.00 | $0.3600 |
確認時のベース料金では、DeepSeek V4.1 Flash がこの比較で最安で、例のワークロードに対し $0.0168。平日の 2× 時間帯に当たると $0.0336 に上がる。とはいえ、順位は受理率の次である。安いリクエストでも、失敗パッチや再試行、レビューが増えれば作業コストは下がらない。
本番で有用な指標は次のとおり:
受理タスクあたりのコスト = モデルトークン + ツール呼び出し + リトライ + フォールバック支出 + 人的レビューコスト。
1つの CometAPI 統合で中国系 LLM を比較
CometAPI は、この4モデルのショートリストに対し、1つの API キー、OpenAI 互換のベース URL — https://api.cometapi.com/v1 —、および 1 つの課金ワークフローを提供する。これにより、4 つのプロバイダ統合を維持せずに、同一のコーディング/推論ハーネスを各ルートに対して実行できる。
- 1 つの CometAPI API キーを取得する。
- OpenAI 互換のベース URL を
https://api.cometapi.com/v1.に設定する。 - タスク、リポジトリスナップショット、受け入れテスト、リクエスト形状を固定したまま、モデル ID を
deepseek-v4.1-flash、kimi-k3、qwen3.8-max、glm-5.3の間で切り替える。各結果でモデル固有の推論設定とツール動作を記録する。
本番における CometAPI のエラーハンドリング
- 401 Unauthorized: CometAPI キーと Bearer ヘッダを用いているか確認。
- 404 Not Found: ベース URL に
/v1を含め、モデル ID はカタログの現行表記を正確にコピーする。 - 429 またはキャパシティエラー: 指数バックオフを用い、再試行上限を設ける。ルーティング先を他モデルに切り替えるのは、そのモデルが同一のコーディング/推論受理テストを既に通過している場合に限る。
- 予期せぬコスト: 使用量フィールド、推論努力、再試行、キャッシュ動作、DeepSeek V4.1 Flash の平日時間帯倍率を点検する。
- 無効なモデルパラメータ: すべての OpenAI 互換モデルが同一の推論/サンプリング設定を受け付けると想定しないこと。例えば Kimi K3 は固定サンプリングと思考のみ動作をドキュメント化している。
最終推奨
多くの開発チームにとって、DeepSeek V4.1 Flash は、強力なターミナル、リポジトリ、推論の結果が公式に公開されているため、最初の汎用コーディング/推論テスト対象となる。長時間のエージェント連続性が主要リスクなら Kimi K3 を、文書やビジュアル入力を含むエンジニアリングなら Qwen3.8-Max を、防御的セキュリティ分析なら GLM 5.3 を追加する。
オープンウェイトが調達要件であれば、DeepSeek V4.1 Flash はチェックポイントと MIT ライセンスを公開している。Kimi K3、Qwen3.8-Max、GLM 5.3 は、公開当日に意図するチェックポイントとライセンスが独立に検証されるまでは、ホスト型の比較ルートとして扱うこと。
FAQ
コーディングに最適な中国系 LLM はどれですか?
広範なコーディング/推論評価には DeepSeek V4.1 Flash、長時間のリポジトリエージェントには Kimi K3、証拠豊富なマルチモーダルエンジニアリングには Qwen3.8-Max、防御的セキュリティレビューには GLM 5.3 から始める。最良の本番ルートは、固定リポジトリテストを最少の修正で通過するモデルである。
このショートリストで最も安価なモデルは?
2026年9月14日現在、CometAPI 公開ベースレートでは DeepSeek V4.1 Flash が最安。平日の時間帯倍率により実効コストが変わり得るため、デプロイ前にライブのモデルページを確認すること。
Qwen3.8-Max はオープンウェイトですか?
CometAPI でホスト API アクセスは確認済みだが、ダウンロード可能なチェックポイントとライセンスは 2026年8月26日時点では本稿で未検証。これらの成果物が公開されるまで self-hostable と表示しないこと。
GLM 5.3 はオープンウェイトですか?
オープンウェイトのリリースが発表されている一方、CometAPI の現行ページではパブリックアーティファクトが予定と記載。重みとライセンスが検証可能になるまでは API 経由で扱い、セルフホスティングはウォッチ対象とする。
どのモデルが画像や動画入力をサポートしますか?
DeepSeek V4.1 Flash はテキストと画像を受け付け、Qwen3.8-Max はテキスト、画像、PDF、動画入力に対応と記載されている。これらの機能は、コーディングタスクがビジュアル/ドキュメント証拠に本当に依存する場合にのみ用い、プロダクションに記載する前に該当の CometAPI ルートをテストすること。
インフラを変えずにモデルを切り替えられますか?
多くの場合は可能。CometAPI のベース URL と API キーを維持したまま model 値を変更する。ただし、本番前にモデル固有のパラメータ、マルチモーダルペイロード、推論コントロール、ツール動作を再テストすること。
オープンソースとオープンウェイトの違いは?
オープンウェイトは、学習済みパラメータが明示ライセンスの下でダウンロード可能であること。オープンソースは、学習コード、データ情報、再現性などを含む広い主張であり得る。マーケティング表現ではなく、実際のチェックポイントとライセンスを検証すること。
