Googleがコード特化モデル「CodeGemma」公開、2Bと7Bの3種展開

CodeGemmaは、GoogleがHugging Faceと共同でリリースしたオープンアクセスのコード特化型モデル群だ。コード補完やコード生成、プログラミングに関する対話作業をこなす。

既存のGemma 2Bおよび7Bをベースに、コードや数学、英語データを中心とする5000億トークンを追加学習させており、コンテキスト長は8Kを維持している。

用途に合わせた3つのバリアント

CodeGemmaは目的別に3種類のモデルを用意している。

2Bベースモデルは、コード補完に特化したFIM（Fill-in-the-Middle）タスク専用として学習された。低遅延かつローカル環境で動かせるため、プライバシーを重視する現場や手元のエディタでの補完に向く。

7Bベースモデルは、学習データの80%をコード補完、残りを自然言語に充てており、補完だけでなくコードの読解や生成もこなす。7B Instructは対話用にファインチューニングされた版で、コーディング相談や数学的な推論に適している。

FIMの仕組みは、カーソルの前後のコードを専用のプレフィックスとサフィックスのトークンで挟み、中央のコードを出力させる方式だ。複数ファイルをまたぐコンテキストの指定にも対応している。

ベンチマークでは、CodeGemma 7BがPythonを評価するHumanEvalや、JavaやC++などを評価するMultiPL-Eにおいて、Code Llama 7BやStarCoder 2 7Bを上回り、同規模ではDeepSeek-Coder-7Bに次ぐスコアを記録した。GSM8Kでも7Bクラスでトップの成績を示している。

動作要件と使い方

手元のハードウェアへの負荷はかなり抑えられている。

2Bモデルをfloat16精度で動かす場合、必要なメモリは約6GBにとどまるため、一般的な消費者向けGPUや端末上で十分に動作する。7Bモデルも4ビット量子化を行えば約9GBのメモリで動き、Google Colabの標準的なGPU環境でも扱える。

モデルはすでにHugging Face Hubで公開されており、GGUFファイルも配布されている。Transformers 4.39以降であればそのまま読み込めるほか、torch.compileによる高速化にも対応する。また、JAXやPyTorch、Gemma.cpp、TensorRT-LLMのほか、Vertex AIでの1クリックデプロイもサポートされている。

注意点として、7Bモデルは補完時に余計なコードやコメントを後ろに付け足す傾向があるため、利用時は専用トークンを終了条件に設定して生成を打ち切る工夫が必要だ。

なぜ重要か

クラウドにコードを送信せず、手元のIDE内で快適に動く補完エンジンを探しているエンジニアなら、CodeGemma 2Bは今すぐ試す価値がある。低遅延でタイピングの邪魔をせず、個人のノートPCでも十分に実用域に届く。

純粋なスコア勝負ではDeepSeek-Coderに一歩譲る場面もあるが、GoogleとHugging Faceによる手厚いエコシステム対応と量子化の容易さは大きな利点だ。無理に超巨大モデルを追わず、日常的なローカル開発支援ツールとして手堅くまとめた点を評価したい。