Google 開源 VaultGemma：首個差分隱私從頭訓練的 1B 模型

VaultGemma 是 Google 和 DeepMind 聯合開源的 10 億引數（1B）大語言模型，也是目前全球首個從零開始採用差分隱私（Differential Privacy，簡稱 DP）完成完整預訓練的開源模型。它的核心用途，是為那些對資料洩露零容忍的場景提供一個底層底座，在數學層面上確保模型絕不會死記硬背訓練集裡的敏感資訊。

它能做到什麼

大模型落地時一個讓人頭疼的隱患是資料暗記。如果訓練資料裡混入了個人住址、病歷、商業機密或私人聊天，模型很有可能在被特定提示詞觸發時，一字不差地把這些內容背誦出來。

VaultGemma 從預訓練的第一步起就介入了差分隱私演算法。它給出的理論隱私保證是序列級別（Sequence-level）的，具體引數達到 ε ≤ 2.0，δ ≤ 1.1e-10，保護的序列長度為 1024 個 token。

通俗來說，如果某條私密資訊只孤立地出現在一條 1024 token 的訓練文本里，VaultGemma 對它的記憶就會被數學噪聲完全衝散。模型面對任何提問時的回答，在統計學上就像是從來沒讀過這段文字一樣。只有當某個事實在海量資料中反覆出現時，模型才會將它視為通用知識吸收下來。

Google 團隊做了一個驗證測試：他們拿訓練集文本的前 50 個 token 作為提示詞餵給模型，觀察它能不能接出後面的 50 個 token。測試結果表明，VaultGemma 完全沒有出現可被檢測到的死記硬背行為。

差分隱私是怎麼跑起來的

以往很少有人敢用差分隱私從頭訓練大模型，主要原因是 DP 演算法會嚴重破壞訓練穩定性。只要往梯度里加噪，模型的訓練損失就很容易突然飆升甚至發散，算力開銷也會成倍增加。

為了解決這個問題，研究團隊首先摸索出了適用於差分隱私的擴充套件法則（DP Scaling Laws）。他們發現，決定 DP 模型學習效果的關鍵變數是噪聲與批次比（noise-batch ratio）。

這一規律給從業者指出了一條與普通預訓練截然相反的路徑：在差分隱私環境下，應該使用遠大於常規訓練的超大批次（batch size），並搭配尺寸更小的模型。

在底層架構上，VaultGemma 沿用了 Gemma 2 的設計，並結合了自家的 Scalable DP-SGD 技術。這一演算法解決了泊松取樣（Poisson sampling）帶來的批次尺寸波動問題，讓整個大規模加噪訓練流程能夠以固定批次穩定跑完。

代價是什麼，去哪裡下載

數學上的嚴格隱私保護是有效能代價的。VaultGemma 1B 在 HellaSwag、BoolQ、PIQA、SocialIQA、TriviaQA 以及 ARC-C 和 ARC-E 等一系列學術基準測試中的表現，大致只相當於約五年前同尺寸非隱私模型 GPT-2 的水準。

也就是說，為了獲得極高的隱私安全性，模型目前的語言理解和推理能力出現了一定程度的技術倒退。

目前該專案已經完全公開。VaultGemma 的模型權重已經託管在 Hugging Face 和 Kaggle 上，官方還同步釋出了完整技術報告供開發者復現與參考。

為什麼重要

如果你從事醫療、金融、政企等強監管領域的 AI 開發，或者專門研究隱私計算，VaultGemma 是眼下最值得下載拆解的開源底座。它用可下載的真實權重證明了一件事：大模型不僅能在微調階段保護隱私，就算從頭預訓練，也能給出嚴密的數學防禦邊界。

我們認為，普通開發者現在顯然不會拿它當主力模型去寫程式碼或聊天，畢竟它的基準效能只退守到了 GPT-2 的水平。但它的價值在於立下了一個明確的技術基準，讓大家看清了算力、隱私預算和模型可用性之間的準確置換代價。接下來整個開源社群要做的，就是在這個已經跑通的框架下，想辦法把這丟失的幾年效能差距一步步追回來。