先に結論
コーディングと推論では、まず DeepSeek V4.1 Flash をエージェント型ソフトウェア作業に、Kimi K3 を永続的なリポジトリエージェントに、Qwen3.8-Max をコードと画像・ドキュメント証拠が混在するエンジニアリングに、GLM 5.3 を防御的セキュリティレビューに用い、そのうえで見出しスペックではなく固定の単一リポジトリテストで勝者を選ぶ。
関連モデル
Choose your path
DeepSeek V4.1 Flash、Kimi K3、Qwen3.8-Max、GLM 5.3 を、コーディング、推論、エージェント系ベンチマークで比較し、その後、単一の CometAPI 統合を通じてテストしてください。
from openai import OpenAI
client = OpenAI(
api_key="YOUR_COMETAPI_KEY",
base_url="https://api.cometapi.com/v1",
)
response = client.chat.completions.create(
model="gpt-5-mini",
messages=[{"role": "user", "content": "Build this workflow."}],
)
print(response.choices[0].message.content)コーディングと推論では、まず DeepSeek V4.1 Flash をエージェント型ソフトウェア作業に、Kimi K3 を永続的なリポジトリエージェントに、Qwen3.8-Max をコードと画像・ドキュメント証拠が混在するエンジニアリングに、GLM 5.3 を防御的セキュリティレビューに用い、そのうえで見出しスペックではなく固定の単一リポジトリテストで勝者を選ぶ。
| Model | 最初に使う用途 | コーディング/推論指標 | 判断時の注意点 |
|---|
| DeepSeek V4.1 Flash deepseek-v4.1-flash | リポジトリ修復、ターミナルエージェント、コード生成、ビジュアルデバッグ | Terminal-Bench 2.1: 90.6; DeepSWE v1.1: 74.2; GPQA Diamond: 90.9 | 公式結果は最大努力設定に基づく。実運用の努力レベルでコストと合格率を検証すること。 |
| Kimi K3 kimi-k3 | 長時間稼働のリポジトリエージェントと検索負荷の高いエンジニアリングワークフロー | TerminalBench 2.1: 88.3; FrontierSWE: 81.2; BrowseComp: 91.2 | 数値はベンダー報告で、評価設定が他の行と完全には一致しない。 |
| Qwen3.8-Max qwen3.8-max | スクリーンショット、PDF、図、動画などの証拠に依存するコードレビューやデバッグ | Terminal-Bench 2.1: 86.6; SWE-bench Pro: 67.7; PaperBench: 93.0 | ドキュメントとターミナルの強い信号は、難度の高いリポジトリ修復で同じ結果を保証しない。 |
| GLM 5.3 glm-5.3 | 防御的コードレビュー、脆弱性発見、セキュリティトリアージ | CyberGym: 84.5%; ExploitBench: 54.4% | セキュリティベンチマークは用途が狭い。一般的なコーディングの優位性を示すものではない。 |
このショートリストは意図的に価格、入力形式、最大コンテキストを主要な意思決定から除外している。これらはデプロイ制約であり、最初のフィルタは、同一テストハーネス下で正しいパッチを生成し、適切な制御フローをトレースし、ツールを確実に使い、推論を説明できるかどうかである。
DeepSeek V4.1 Flash は本比較におけるコーディング優先の DeepSeek 候補である。公式モデルカードの最大努力評価では、Terminal-Bench 2.1 が 90.6、DeepSWE v1.1 が 74.2、NL2Repo-Bench が 65.4、Codeforces レーティングが 3471 と報告されている。これらの結果は、リポジトリ修復、ターミナル操作、コードベース生成をまずテストすべき業務であることを示すが、あなたの CI を通過する保証ではない。実行可能パッチと人的修正時間で評価し、コードスタイルのみで判断しないこと。
推論について、同じ公式リリースは GPQA Diamond で 90.9、reasoning_effort=100 の MathArena Apex で 65.6 を報告している。これは多段デバッグ、仮説形成、ツールベースの調査を支える一方で、努力設定を比較記録に必ず含めるべき理由でもある。運用で想定するより低い努力レベルでもう一度テストを実施しないと、ベンチ結果と本番のレイテンシ/コストプロファイルが異なるシステムを記述することになる。
Kimi K3 は、多数のリポジトリ操作にわたって計画を一貫させる必要があるコーディングエージェントにおける最有力候補である。公表値には TerminalBench 2.1 の 88.3、FrontierSWE の 81.2、ProgramBench の 77.8 が含まれており、同モデルページは検索志向の推論として BrowseComp 91.2、DeepSearchQA 95.0 も報告している。調査、編集、実行、失敗からの復旧を要するタスクで評価せよ。高スコアは有用な根拠だが、長時間の制約順守を保てるかは自分のエージェントスキャフォールドでしか示せない。
Qwen3.8-Max は、コーディングがソーステキスト以外に依存する場面で最も適合する。Terminal-Bench 2.1 の 86.6 は強いターミナル操作を示す一方、SWE-bench Pro の 67.7 はリポジトリ修復の上限が厳しめであることを示唆する。PaperBench 93.0 と IFBench 82.8 は、コードにドキュメント、スクリーンショット、図、詳細な指示が伴うタスクの適合性を強化する。証拠駆動のデバッグに使いつつ、パッチの正確性とテスト結果は別の受け入れ基準として扱うこと。
GLM 5.3 は、汎用コーディングの勝者ではなく、セキュリティ推論に特化した候補である。CyberGym の 84.5% に対して ExploitBench が 54.4% という結果は明確な傾向を示す。すなわち、脆弱性発見は、信頼できるエクスプロイト完遂より強い。したがって、防御的コードレビュー、攻撃面マッピング、データフロートレースが適切な初期テストとなる。比較可能なリポジトリコーディングの証拠が得られるまでは、これらのセキュリティ結果を通常の機能開発に外挿しないこと。
以下の数値は、コーディング、推論、またはセキュリティに関する狭い問いに答えるものである。ベンダーごとにハーネス、プロンプト、ツールスキャフォールド、推論設定が異なるため、単一の普遍的リーダーボードを形成しない。各結果をテストケース設計に用い、自身の環境で受理されたパッチと検証済みの説明を比較せよ。
| Model | コーディングの証拠 | 推論の証拠 | 有用な解釈 |
|---|---|---|---|
| DeepSeek V4.1 Flash | Terminal-Bench 2.1: 90.6; DeepSWE v1.1: 74.2; NL2Repo-Bench: 65.4 | GPQA Diamond: 90.9; MathArena Apex: 65.6 | エージェント型コーディングと多段デバッグでまずテスト。毎回 reasoning_effort を記録すること。 |
| Kimi K3 | TerminalBench 2.1: 88.3; FrontierSWE: 81.2; ProgramBench: 77.8 | BrowseComp: 91.2; DeepSearchQA: 95.0 | 計画の連続性が重要な長時間リポジトリ/検索ワークフローでテスト。 |
| Qwen3.8-Max | Terminal-Bench 2.1: 86.6; SWE-bench Pro: 67.7 | PaperBench: 93.0; IFBench: 82.8 | コードとドキュメント/ビジュアル証拠を組み合わせるエンジニアリングタスクでテスト。 |
| GLM 5.3 | CyberGym: 84.5% | ExploitBench: 54.4% | 防御的な脆弱性分析に用いる。発見の強さはエクスプロイトの信頼性を意味しない。 |
全モデルを同一のシステムプロンプト、リポジトリスナップショット、ツールスキーマ、タイムアウト、再試行規則、受け入れテストで実行する。モデル固有の推論コントロールは、その検証が目的でない限り、ドキュメント記載のデフォルトに保つ。
各タスクについて、合否、人的修正、入力トークン、出力/推論トークン、レイテンシ、再試行、総コストを記録する。トークン単価が最安でも、再試行やレビューが増えると総コストは高くなり得る。
価格確認日: 2026年9月14日。以下は 1M トークンあたりの CometAPI 現行価格。例では入力 100K トークン、出力 10K トークン、キャッシュヒット/再試行/ツール課金/税金/アカウント割引なしとする。CometAPI は表示公式価格に対して 20% 割引を掲示しており、DeepSeek V4.1 Flash は平日 01:00–04:00 および 06:00–10:00 UTC に 2× のリクエスト倍率を受ける場合がある。
| Model | Input / 1M | Output / 1M | 100K input + 10K output |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.12 | $0.48 | $0.0168 |
| GLM 5.3 | $1.12 | $3.528 | $0.1473 |
| Qwen3.8-Max | $1.60 | $4.80 | $0.2080 |
| Kimi K3 | $2.40 | $12.00 | $0.3600 |
確認時のベース料金では、DeepSeek V4.1 Flash がこの比較で最安で、例のワークロードに対し $0.0168。平日の 2× 時間帯に当たると $0.0336 に上がる。とはいえ、順位は受理率の次である。安いリクエストでも、失敗パッチや再試行、レビューが増えれば作業コストは下がらない。
本番で有用な指標は次のとおり:
受理タスクあたりのコスト = モデルトークン + ツール呼び出し + リトライ + フォールバック支出 + 人的レビューコスト。
CometAPI は、この4モデルのショートリストに対し、1つの API キー、OpenAI 互換のベース URL — https://api.cometapi.com/v1 —、および 1 つの課金ワークフローを提供する。これにより、4 つのプロバイダ統合を維持せずに、同一のコーディング/推論ハーネスを各ルートに対して実行できる。
https://api.cometapi.com/v1. に設定する。deepseek-v4.1-flash、kimi-k3、qwen3.8-max、glm-5.3 の間で切り替える。各結果でモデル固有の推論設定とツール動作を記録する。/v1 を含め、モデル ID はカタログの現行表記を正確にコピーする。多くの開発チームにとって、DeepSeek V4.1 Flash は、強力なターミナル、リポジトリ、推論の結果が公式に公開されているため、最初の汎用コーディング/推論テスト対象となる。長時間のエージェント連続性が主要リスクなら Kimi K3 を、文書やビジュアル入力を含むエンジニアリングなら Qwen3.8-Max を、防御的セキュリティ分析なら GLM 5.3 を追加する。
オープンウェイトが調達要件であれば、DeepSeek V4.1 Flash はチェックポイントと MIT ライセンスを公開している。Kimi K3、Qwen3.8-Max、GLM 5.3 は、公開当日に意図するチェックポイントとライセンスが独立に検証されるまでは、ホスト型の比較ルートとして扱うこと。
広範なコーディング/推論評価には DeepSeek V4.1 Flash、長時間のリポジトリエージェントには Kimi K3、証拠豊富なマルチモーダルエンジニアリングには Qwen3.8-Max、防御的セキュリティレビューには GLM 5.3 から始める。最良の本番ルートは、固定リポジトリテストを最少の修正で通過するモデルである。
2026年9月14日現在、CometAPI 公開ベースレートでは DeepSeek V4.1 Flash が最安。平日の時間帯倍率により実効コストが変わり得るため、デプロイ前にライブのモデルページを確認すること。
CometAPI でホスト API アクセスは確認済みだが、ダウンロード可能なチェックポイントとライセンスは 2026年8月26日時点では本稿で未検証。これらの成果物が公開されるまで self-hostable と表示しないこと。
オープンウェイトのリリースが発表されている一方、CometAPI の現行ページではパブリックアーティファクトが予定と記載。重みとライセンスが検証可能になるまでは API 経由で扱い、セルフホスティングはウォッチ対象とする。
DeepSeek V4.1 Flash はテキストと画像を受け付け、Qwen3.8-Max はテキスト、画像、PDF、動画入力に対応と記載されている。これらの機能は、コーディングタスクがビジュアル/ドキュメント証拠に本当に依存する場合にのみ用い、プロダクションに記載する前に該当の CometAPI ルートをテストすること。
多くの場合は可能。CometAPI のベース URL と API キーを維持したまま model 値を変更する。ただし、本番前にモデル固有のパラメータ、マルチモーダルペイロード、推論コントロール、ツール動作を再テストすること。
オープンウェイトは、学習済みパラメータが明示ライセンスの下でダウンロード可能であること。オープンソースは、学習コード、データ情報、再現性などを含む広い主張であり得る。マーケティング表現ではなく、実際のチェックポイントとライセンスを検証すること。