Googleがオープンモデル「Gemma 3」公開、画像認識と128K文脈に対応

Gemma 3は、Googleが公開したオープンウェイトモデルの最新ファミリーだ。1B、4B、12B、27Bの4つのパラメータサイズが用意されている。最小の1Bはテキスト専用だが、残る3サイズは画像とテキストの両方を扱えるマルチモーダルに対応し、文脈長は最大128kトークン、140以上の言語をサポートする。

何ができるか

文書の要約から画像認識、多言語での問い合わせ対応まで幅広くこなせる。1B版の文脈長は前世代の8kから32kに拡張され、4B、12B、27B版は128kまで対応した。

全サイズで事前学習済みベース版と指示チューニング版が提供されている。マルチモーダル対応ではあるものの、テキスト処理のみで利用する場合はビジョンエンコーダをメモリに読み込まず、通常のLLMとして軽量に実行することが可能だ。

性能の向上も著しい。公式評価によると、4Bの指示チューニング版は前世代のGemma 2 27Bを上回り、27Bの指示チューニング版は主要ベンチマークでGemini 1.5 Proを上回るスコアを記録している。

どう実現したか

128kへの長文対応において、ゼロから学習する計算コストを削減するため、事前学習の大半は32kシーケンスで行い、最終段階で128kへと拡張された。位置エンコーディングのRoPE基底周波数は10kから1Mへ引き上げられ、8倍にスケーリングされている。

メモリ管理にはスライディングウィンドウ注意機構を採用。局所レイヤー5層に対して大域レイヤー1層を挟む構成とし、ウィンドウサイズを1024トークンに縮小することで、パープレキシティを維持しながらKVキャッシュの消費を抑えた。

画像入力にはSigLIPエンコーダを採用し、896x896解像度で処理する。高解像度画像に対しては適応型クロップを行い、細部を拡大エンコードする。画像トークンには全方向の双方向アテンションが適用され、テキストは因果的アテンションで処理される。多言語データ量も倍増し、Gemini 2.0と同じトークナイザーが採用された。

モデル重みはHugging Faceで公開されており、Web上で試せるデモスペースも用意されている。

なぜ重要か

ローカル環境やエッジデバイスでAIを動かしたい開発者にとって、Gemma 3は今すぐ試す価値がある。4Bサイズが前世代の27Bを凌駕したことで、一般的なPCや単体GPUでも高精度なマルチモーダル処理が現実的になった。

また、オープンな27BモデルがGemini 1.5 Proと同等以上の性能を示したことは、オープンウェイトと商用APIモデルの境界をさらに縮める動きと言える。