Google、Gemma 3のQAT版を公開：27Bモデルが民生用GPUで動作可能に

ローカル環境で大規模言語モデルを動かそうとするとき、最大の壁となるのがグラフィックスカードのVRAM容量です。高性能な27Bクラスのモデルを動かすには、これまではサーバー向けの超高額GPUが必要になるのが通例でした。

Googleは、オープンモデル「Gemma 3」に向けて量子化対応訓練（QAT）を適用した新バージョンを公開しました。家庭用GPUでも高品質を維持したまま動作させることが可能になります。

訓練段階で圧縮への耐性をつける

先月公開されたGemma 3は、標準の16ビット浮動小数点数（BF16）環境において高い性能を示したものの、そのまま動かすにはNVIDIA H100のような高性能計算リソースが必要でした。

通常、PCで動かす際は訓練後のモデルを4ビット（int4）に圧縮する訓練後量子化（PTQ）が行われます。しかし、この方法ではデータサイズを4分の1に減らせる反面、モデルの回答精度が目に見えて落ちるという課題がありました。

そこでGoogleは、訓練の過程に量子化プロセスを組み込むQATを採用しました。未量子化モデルの確率分布をターゲットとして約5000ステップの追加訓練を実施した結果、llama.cppによる評価において、Q4_0形式への圧縮に伴うパープレキシティの悪化を54%抑えることに成功しました。

RTX 3090単体で27Bモデルが稼働

今回の提供対象は1B、4B、12B、27Bの各サイズで、指示調整済み（IT）モデルと事前学習済み（PT）モデルの両方が用意されています。

最大の恩恵はVRAM消費量の大幅な削減です。重みの保持に必要なメモリ量は半精度と比べて約3分の1に抑えられ、NVIDIA RTX 3090などの24GBメモリを搭載した家庭用GPU単体で、27Bモデルをローカル実行できるようになりました。

GoogleはHugging FaceとKaggle上で公式チェックポイントを公開しており、未量子化のQATデータに加え、Ollamaやllama.cpp、MLXでそのまま扱えるQ4_0形式のGGUFファイルも提供しています。同時にコミュニティによる多様な量子化オプションの存在にも言及しています。

なぜ重要か

モデル提供元であるGoogle自身が、実用的な軽量化まで踏み込んで責任を持った点が評価できます。

これまでオープンモデルの軽量化はコミュニティ任せになることが多く、特に20B前後のモデルを4ビットまで絞ると性能低下が顕著でした。開発元が自ら計算リソースを割いてQATを適用したことで、精度の劣化を最小限に抑えた完成度の高いモデルが手に入ります。

ローカルでセキュアな社内アシスタントを組みたいエンジニアや、API利用料を抑えたい開発者にとって、手持ちの24GBグラフィックボードで27Bモデルが実用精度で動く価値は非常に大きいです。

ただし、示されている数値はあくまでモデルの重み分のみであり、長い会話を行う際にはKVキャッシュ用の追加VRAMが必要になります。長文処理を多用する場合はメモリ配分に工夫が求められますが、今後のオープンモデル配布における新たな標準となる動きです。