Google、Gemma 4向け「MTP」ドラフトモデル公開：推論速度が最大3倍に

Googleは、オープンモデル「Gemma 4」ファミリー向けにMulti-Token Prediction（MTP）ドラフトモデルを公開しました。出力品質や推論精度を一切落とすことなく、ローカルGPUやMac、モバイル環境での推論速度を最大3倍に引き上げることができます。

通常のLLM推論では、自明な単語を1つ出力するだけでも数十億のパラメータをメモリから読み出す必要があり、メモリ帯域がボトルネックになります。今回のMTPドラフターは、投機的デコーディングによってこの無駄を解消するツールです。

高速化の仕組み

仕組みは明快です。まず極めて軽量なドラフトモデルが、大モデルのアイドル時間を利用して複数の後続トークンを一気に予測します。

続いてターゲットとなるGemma 4本体が、提案されたトークン群を1回のフォワードパスでまとめて並列検証します。ドラフトが正しければそのまま全トークンが採用され、さらに追加の1トークンも同時に生成されます。

最終的な採否をGemma 4本体が判定するため、論理的思考力や精度は通常推論と完全に一致します。また、ドラフトモデルは大モデルの中間層出力やKVキャッシュを直接共有するため、コンテキストの再計算も発生しません。エッジ向けのE2BやE4Bでは、出力層の計算を軽くするクラスタリング技術も盛り込まれています。

対応モデルと動作環境

ドラフターは26B MoE、31B Dense、さらに軽量なE2BやE4B向けに提供されます。NVIDIA RTX PRO 6000環境の26Bモデルでは待ち時間が半減し、最大3倍のトークン生成速度を記録しました。

またApple Silicon環境では、26B MoEをバッチサイズ4〜8で並列処理することで約2.2倍の高速化が確認されており、NVIDIA A100でも同様の効果が得られます。

ライセンスはGemma 4本体と同じくApache 2.0で、重みはHugging FaceやKaggleから入手可能です。vLLM、Ollama、MLX、SGLang、Transformers、LiteRT-LMなどの主要フレームワークに対応し、モバイル端末向けにはGoogle AI Edge Galleryも用意されています。

なぜ重要か

ローカルLLMを動かす開発者にとって、最大の制約は常にメモリ帯域でした。自分でドラフトモデルを用意したり再学習させたりする手間なしに、公式から精度の狂わない投機的デコーディング環境が提供された価値は極めて大きいと言えます。

推論遅延が半減すれば、ローカルでのコーディング補助や自律型エージェントの使い勝手は別物になります。Gemma 4を自前環境で運用しているなら、迷わず導入して試すべきアップデートです。