Metaが「Code Llama 70B」を公開、10万トークンの文脈に対応し商用利用も可能

Code Llama 70Bは、Metaが公開したオープンな大規模コード生成モデルだ。2023年8月に登場したCode Llamaシリーズの最上位版にあたり、Python、C++、JavaScript、Javaなどのプログラミング言語に対応し、テキストの指示やコード断片からアルゴリズムの実装、ソート、検索処理などを生成できる。

最大の特徴は10万トークンのコンテキストウィンドウを備えている点だ。長大なコードベースや複数ファイルにまたがるプロジェクトもまとめて読み込ませて処理できる。

機能と3つのバリエーション

Code Llama 70Bは5000億トークンのコードおよび関連データで事前学習され、セルフアテンション機構を用いてコード構造を理解する。用途に合わせて3つのバージョンが用意されている。

標準の「CodeLlama-70B」は汎用的なコード補全や生成を担う。開発者との対話や自然言語での指示を前提とする場合は、指示チューニングを施した「CodeLlama-70B-Instruct」が適している。

Pythonに特化した「CodeLlama-70B-Python」も用意された。基本学習に加えて1000億トークンのPythonコードを追加学習させており、MetaはPythonコードの生成において比類のない流暢さと正確さを備えているとしている。

入手方法とライセンス

提供されるすべてのモデルは、以前のCode Llamaと同じオープンライセンスのもとでMetaの公式リンクから無償でダウンロードできる。学術利用だけでなく、商用利用や追加のファインチューニングも認められている。

Metaのマーク・ザッカーバーグCEOは、コードの記述や編集が現在のAIモデルにとって最も重要な用途の一つになったと述べ、コーディング能力が他分野における論理的かつ厳密な情報処理にも役立つと指摘している。

なぜ重要か

社内コードを外部クラウドに送信できない企業やプライバシーを重視するチームにとって、GitHub CopilotやGoogleのDuet AI、Gemini Proに依存しない強力な選択肢となる。自社インフラ上で最高水準のコーディング支援環境を構築できるのが最大の強みだ。

一方で、70Bモデルと10万トークンの文脈長を扱うには相応のGPUリソースが求められる。個人の軽い開発なら既存のクラウドサービスで十分だが、自社リポジトリに特化したコード支援AIを安全に運用したい組織にとっては、現時点で真っ先に試す価値のあるオープン基盤だ。