DeepSeek-Coder V2 とは何ですか?

急速に進化する人工知能分野において、大規模言語モデル（LLM）はソフトウェア開発を含む様々な分野に大きな影響を与えています。最新の進歩の一つとして、中国のAI企業DeepSeekが開発したオープンソースのコード言語モデル「DeepSeek-Coder V2」が挙げられます。このモデルは、コードインテリジェンスにおけるオープンソースモデルとクローズドソースモデル間のギャップを埋めることを目指しています。

DeepSeek-Coder V2 とは何ですか?

DeepSeek-Coder V2は、コード生成と理解に関連するタスクを実行するために設計されたオープンソースのMixture-of-Experts（MoE）コード言語モデルです。DeepSeek-V2の中間チェックポイントから6兆トークンを追加して事前学習することで、一般的な言語タスクにおいて同等のパフォーマンスを維持しながら、コーディング能力と数学的推論能力を強化しています。

主な機能と革新

拡張された言語サポート

DeepSeek-Coder V2では、サポートするプログラミング言語が大幅に拡張され、86言語から338言語に増加しました。これにより、様々なコーディング環境やプロジェクトへの適用範囲が広がります。

拡張コンテキスト長

モデルのコンテキストの長さが 16K トークンから 128K トークンに拡張され、コンテキストを失うことなく、より大きなコードベースとより複雑なタスクを処理できるようになりました。

延長トレーニング:

さらに 2 兆個のトークンを追加して DeepSeek-V6 の中間チェックポイントから事前トレーニングし、コーディングと数学的推論の能力を強化しました。

ベンチマークとパフォーマンス指標

DeepSeek-Coder V2 は、さまざまなベンチマークで素晴らしい結果を達成しました。