DeepSeekがCoder V2をオープンソース公開、GPT-4 Turbo超えを記録

DeepSeek Coder V2は、プログラミングと数学のタスクにおいてGPT-4 TurboやClaude 3 Opusを上回るスコアを叩き出した、完全オープンソースのコード特化型言語モデルだ。

前世代モデルと比べて実用性が大幅に向上している。対応するプログラミング言語は86種類から338種類へと激増し、コンテキスト長も従来の16Kから128Kトークンへと拡大された。巨大なリポジトリ全体の解析や複数ファイルにまたがるコード修正も余裕でこなせる。

仕組みとスペック

基盤には先月発表されたDeepSeek-V2のMoE（Mixture of Experts）アーキテクチャを採用している。ベースモデルに追加で6兆トークンのデータを学習させ、総学習量は10.2兆トークンに達した。

データセットの内訳は、GitHubやCommonCrawlから収集したソースコードが60％、数学データが10％、自然言語が30％で構成されている。

提供されるサイズは16Bと236Bの2種類だ。MoEの特性を活かし、推論時にアクティブになるパラメータは16B版でわずか2.4B、236B版でも21Bにとどまる。計算リソースを抑えつつ、巨大モデル並みの知能を発揮できる設計だ。

ベンチマーク結果と課題

コード生成や編集能力を測るテストにおいて、236BモデルはHumanEvalで90.2、MBPP+で76.2、Aiderで73.7を記録した。

これらのスコアはLlama 3-70BやCodestralを突き放しただけでなく、GPT-4 Turbo、Claude 3 Opus、Gemini 1.5 Proなどの最高峰商用モデルをも上回る。現時点でこれを僅差で凌駕しているのはGPT-4oのみだ。

数学ベンチマークのGSM8KやMATHでも最高峰モデルと同等の実力を示した。総合的な言語理解を測るMMLUは79.2で、GPT-4oの88.7には及ばないものの、コード特化モデルとしては汎用タスクにも十分対応できる水準にある。

一方で開発チームは、複雑な指示に従う指示追従性能（instruction following）にはまだ改善の余地があると認めている。実際の開発現場における入り組んだ要件指示では、プロンプトの工夫が必要になるケースもありそうだ。

入手方法とライセンス

ライセンスは寛容なMITライセンスを採用しており、研究だけでなく商用利用も無制限で認められている。

Hugging Face上ですでに16Bと236Bの両サイズについて、Base版とInstruct版が公開されている。ローカル環境のマシンスペックが足りない開発者向けには、従量課金制の公式APIや、ブラウザ上ですぐに試せる無料チャットボットも用意されている。

なぜ重要か

社内コードの流出を防ぐためにプライベート環境でのモデル運用が必須な企業や、自前で開発環境を整えたいエンジニアにとって、今すぐ試す価値がある選択肢だ。最先端のコーディング知能を享受するために高額な商用APIへ頼らざるを得なかった状況を、このモデルが一変させた。

MoEによる推論効率の高さも極めて実用的で、大手AI各社のコード生成APIの価格競争をさらに加速させると考えられる。複雑なエージェントワークフローに組み込む場合は、指示追従の甘さを補うプロンプト設計を意識しておくのが無難だろう。