Googleが「Gemma 2」公開、27Bモデルが倍サイズの競合に匹敵

Googleは、Geminiと同じ研究・技術をベースにした次世代のオープンLLM「Gemma 2」を正式公開しました。9B（90億）と27B（270億）の2つのパラメータサイズが用意され、それぞれ事前学習済みのベース版と指示チューニング版が商用利用可能なライセンスで提供されます。

最大のトピックは、体格を覆すほどの性能と推論効率の高さです。27Bモデルは、自身の2倍以上のサイズを持つ競合モデルと互角以上に渡り合い、半年前の主要な独自モデルに匹敵する性能を誇ります。さらに、NVIDIA H100、A100 80GB、またはGoogle Cloud TPU単体でフル精度の推論を実行できるため、運用のインフラコストを大きく削ることができます。9Bモデルも同クラスのLlama 3 8Bを上回るベンチマークを記録しており、今後は2.6Bモデルの追加も予定されています。

どうやって性能を引き出したか

Gemma 2はコンテキスト長が8192トークンで、アーキテクチャの抜本的な見直しによってこの効率を実現しています。

大きな特徴のひとつが、スライディングウィンドウ・アテンションの変則的な採用です。全層に適用するのではなく、1層おきに局所的な4096トークンのスライディングウィンドウを使い、残りの層で8192トークンのグローバルアテンションを維持します。これにより、文脈全体の把握力を保ちつつ計算量を大幅に削減しています。

また、ソフトキャッピングと呼ばれる技術も導入されました。アテンション層や最終出力層で数値が極端に発散しないようtanh関数で一定範囲に収める仕組みで、小規模モデルの学習安定化に貢献しています。

さらに9Bモデルでは、より大規模で優秀な教師モデルから知識を学ぶ知識蒸留を事前学習に活用しました。学習データ量も前世代の約2倍に達し、27Bモデルで13兆トークン、9Bモデルで8兆トークンが投入されています。

動作環境と試し方

エコシステムへの対応も初日から充実しています。Hugging Face Transformers、vLLM、Ollama、Keras 3.0、JAX、PyTorch、TensorFlowなどを幅広くサポートし、NVIDIAのTensorRT-LLMにも最適化されています。

27Bモデルは80GBのGPU1枚でフル精度稼働します。個人環境であれば、CPU向けにはGemma.cppによる量子化版が用意されているほか、GeForce RTXを搭載したゲーミングノートPCやデスクトップPCでもローカル実行が可能です。

重みデータはHugging FaceとKaggleで公開されており、Google AI Studioを使えばハードウェアを用意することなくブラウザ上で即座に試せます。

なぜ重要か

個人開発者やコストを抑えたいエンジニアにとって、Gemma 2の27Bモデルは現時点で最も導入価値の高い選択肢になります。これまで複数枚のGPUクラスタが必須だったクラスの性能を、クラウドのシングルGPUで安価に運用できるからです。

MetaのLlamaシリーズが主導してきたオープンモデルの勢力図に対しても、Googleが蒸留と設計の工夫で強力な対抗打を打ち込んだ形です。単一カードで軽快に動く高密度モデルの競争は、今後のオンプレミス導入やアプリ開発の標準を大きく押し上げると考えられます。