Google、差分プライバシーでゼロから学習した10億規模LLM「VaultGemma」公開

VaultGemmaは、GoogleとDeepMindがオープンソースとして公開した10億パラメータ（1B）の大規模言語モデルだ。差分プライバシー（Differential Privacy、DP）を適用し、スクラッチから事前学習されたオープンモデルとしては世界最大かつ最先端の能力を持つ。モデルが学習データ内の機密情報を丸暗記し、出力として漏洩してしまうリスクを数学的な保証のもとで防ぐ。

なにができるか：暗記を防ぐ仕組み

既存のLLMにおける深刻なリスクのひとつが、学習データの丸暗記（メモリゼーション）だ。学習データに個人情報、医療データ、社外秘のやり取りが混入していると、プロンプトの工夫次第でそのまま吐き出されてしまう危険がある。

VaultGemmaは事前学習の最初からDP-SGD（差分プライバシー確率的勾配降下法）を適用し、勾配に計算されたノイズを注入して学習させた。本モデルは1024トークンからなるシーケンス単位で、ε 2.0以下、δ 1.1e-10以下という厳密なプライバシー保証を備えている。

わかりやすく言えば、もし特定の機密情報が単一の1024トークンシーケンス内にしか現れなければ、VaultGemmaはその事実を統計上全く学習していない状態と同等になる。その情報を含まないモデルと同じ挙動を示し、複数のシーケンスにまたがって頻出する一般的な知識だけがモデルに残る。

実証実験として、学習データから抽出した50トークンのプレフィックスを与えて続きを生成させるテストが行われたが、VaultGemmaは検出可能な暗記を一切示さなかった。

どうやって実現したか：DP向けスケーリング則

これまで差分プライバシーを用いたスクラッチ学習は極めて困難とされてきた。ノイズ注入によって学習が不安定になり、損失の急増や発散が起きやすく、計算コストも跳ね上がるためだ。

研究チームはまず、差分プライバシーを適用した言語モデル特有のスケーリング則（Scaling Laws for DP-LLM）を導き出した。モデルが安定して学習を進められるかどうかは、プライバシーノイズとバッチサイズの比率（noise-batch ratio）に大きく依存することが判明した。

導き出された実践的指針は、通常のLLM事前学習とは異なり、モデルサイズを小さく抑えつつ極端に大きなバッチサイズを採用することだ。

VaultGemmaはGemma 2のアーキテクチャをベースにしており、Scalable DP-SGD技術を採用することで、ポアソンサンプリングに起因するバッチサイズの変動をパディングやトリミングによって解決し、安定した学習を完走させた。

性能のトレードオフと入手先

数学的な完全プライバシーには相応の代償が伴う。HellaSwag、BoolQ、PIQA、SocialIQA、TriviaQA、ARCなどの標準的な学術ベンチマークにおいて、VaultGemma 1Bの性能はおよそ5年前の同規模の非プライベートモデルであるGPT-2とほぼ同等にとどまる。

確固たるプライバシー安全性を担保した結果、言語理解や推論能力の面では数年分の性能後退を受け入れる形となっている。

現在、VaultGemmaのモデル重みはHugging FaceおよびKaggleにて無償公開されており、詳細な技術レポートとともにダウンロードして試すことができる。

なぜ重要か

医療、金融、法務など、データ漏洩が法的な致命傷になりかねない領域でAI活用を模索している開発者や、プライバシー保護機械学習の研究者にとって、VaultGemmaは今すぐ触るべきオープンソース基盤だ。ファインチューニングの段階だけでなく、事前学習から数学的にプライバシーを保証できることを実証した意味は大きい。

現状のベンチマークがGPT-2相当である以上、日常的な対話やコーディング支援にそのまま投入するのは実用的ではない。しかし、プライバシー予算と計算コスト、精度のトレードオフを数式とデータで明確に示した功績は大きい。コミュニティがこの土台の上に立ち、今後数年間で非プライベートモデルとの性能差をどれだけ縮められるかが次の焦点となる。