Meta、コーディング特化のオープン大規模モデル「Code Llama」を公開

Code Llamaは、ソースコードの生成、自動補完、デバッグに特化したオープンな大規模言語モデルです。自然言語の指示から目的のプログラムを書かせたり、既存のコードを与えて不具合の特定や解説を任せたりできます。

Metaが開発したこのモデルは、汎用モデルのLlama 2をベースに、5000億トークンのコード関連データで追加学習を行っています。Python、C++、Java、PHP、TypeScript、C#、Bashなど主要な言語を標準でカバーします。

主な機能と特徴

モデルには、標準版に加えてPython特化版と、指示追従に特化したCode Llama - Instructの3種類が用意されています。自然言語で指示を出してコードを書かせたい場合は、Instruct版の利用が推奨されます。

最大の進化点は、最大10万トークンに及ぶコンテキストウィンドウです。Llama 2の4096トークンと比べて格段に広く、大規模なコードベースや長いエラーログを丸ごとプロンプトに流し込んでデバッグできます。

また、7Bと13BのモデルはFIMと呼ばれる中間挿入学習に対応しています。コードの末尾に書き足すだけでなく、前後の文脈を読んでコードの中間に適切な処理を差し込めるため、リアルタイムの入力補完にそのまま役立ちます。

モデル仕様と動作環境

パラメータ規模は7B、13B、34B、そして1兆トークンで学習された70Bの4サイズが提供されます。

7B版は一般的な単体GPUで動作し、低遅延が求められるエディタのリアルタイム補完ツールに向いています。一方の34Bや70Bは処理速度よりも回答の精度を重視した設計です。

コーディング評価のHumanEvalにおいて、Code Llama 34Bは53.7パーセント、MBPPでは56.2パーセントを記録しました。これは既存のオープン系モデルを大きく上回り、ChatGPTに匹敵する水準です。

ライセンスはLlama 2と同じコミュニティライセンスが適用され、研究目的および商用利用が無料で認められています。

なぜ重要か

機密性の高いソースコードをクラウドに送りたくない開発者にとって、完全にローカル環境で動かせる高精度なコーディング支援モデルは待望の選択肢です。

GitHub Copilotなどの有償サービスに依存せず、手元のマシンで補完やレビューのワークフローを組める点が最大の価値です。オープンな重みが商用レベルに達したことで、開発ツール市場の競争は一段と激しくなると考えられます。