GoogleがGemma 4のQAT版を公開、E2Bモデルはメモリ1GB未満で動作

Googleが公開した「Gemma 4 QAT」は、スマートフォンやノートPC、一般的なコンシューマー向けGPUで快適に動作するよう最適化された、量子化を考慮した学習（QAT）済みモデル群だ。特にGemma 4 E2Bのテキスト特化モデルでは、メモリ使用量を1GB未満にまで抑え込んでいる。

通常、端末上でローカルモデルを動かすには圧縮が不可欠だが、学習後に圧縮する一般的なPTQ（Post-Training Quantization）では推論精度が落ちやすい。今回のQATは学習プロセスそのものの中で量子化による劣化をシミュレートすることで、モデルの賢さを維持したまま劇的な軽量化を実現している。

1GB未満に圧縮する仕組み

一般的なQ4_0形式に加えて、Googleはエッジ向けモデルのE2BとE4B専用にカスタムされたモバイル向け量子化スキーマを開発した。

まず、動作時に端末側でスケーリング計算を行う無駄を省くため、学習時に設定を事前計算しておく静的アクティベーションを採用した。これによりスマホのチップ負荷が下がり、応答速度が向上する。

さらに、モバイル向けアクセラレータの設計に合わせたチャンネル単位の量子化や、トークン生成に関わる特定レイヤーのみを2-bitまで攻めて圧縮し、中核の推論層は高精度を保つアプローチを採用した。語彙リストやKVキャッシュの消費メモリも徹底的に削られており、テキスト単体で運用すればE2Bのメモリフットプリントは1GBを下回る。

動かし方と配布先

重みはすでにHugging Faceで公開されており、普段使っている開発環境に合わせてすぐ試せる。

デスクトップ環境なら、llama.cpp、Ollama、LM Studio向けにGGUF形式が用意されている。Macユーザー向けにはMLXの最適化が提供され、サーバー用途にはvLLMやSGLang用の圧縮テンソル形式も揃う。

モバイル端末への組み込みにはGoogleのLiteRT-LMランタイムが利用できるほか、Transformers.js経由でブラウザ上でも直接動かせる。ファインチューニングにはUnslothやHugging Face Transformersが対応しており、Multi-Token Prediction（MTP）の高速化を保ったチェックポイントも利用可能だ。

なぜ重要か

スマホやシングルボードコンピュータ、安価なグラフィックカードでローカルAIを動かしたい開発者にとって、すぐに試す価値がある。従来のコミュニティ製PTQによる極端な圧縮ではモデルが破綻しやすかったが、公式が事前学習段階からハードウェア特性を意識してQATを施したことで、低リソース環境での実用的な推論精度が担保された。

単にパラメータ数を削るのではなく、KVキャッシュや語彙、チップの命令セットまで一体で最適化すれば2Bクラスでも日常使いできることをGoogleが実証した形であり、今後のエッジAI開発の標準を引き上げる動きと言える。