Google 开源 VaultGemma：首个差分隐私从头训练的 1B 模型

VaultGemma 是 Google 和 DeepMind 联合开源的 10 亿参数（1B）大语言模型，也是目前全球首个从零开始采用差分隐私（Differential Privacy，简称 DP）完成完整预训练的开源模型。它的核心用途，是为那些对数据泄露零容忍的场景提供一个底层底座，在数学层面上确保模型绝不会死记硬背训练集里的敏感信息。

它能做到什么

大模型落地时一个让人头疼的隐患是数据暗记。如果训练数据里混入了个人住址、病历、商业机密或私人聊天，模型很有可能在被特定提示词触发时，一字不差地把这些内容背诵出来。

VaultGemma 从预训练的第一步起就介入了差分隐私算法。它给出的理论隐私保证是序列级别（Sequence-level）的，具体参数达到 ε ≤ 2.0，δ ≤ 1.1e-10，保护的序列长度为 1024 个 token。

通俗来说，如果某条私密信息只孤立地出现在一条 1024 token 的训练文本里，VaultGemma 对它的记忆就会被数学噪声完全冲散。模型面对任何提问时的回答，在统计学上就像是从来没读过这段文字一样。只有当某个事实在海量数据中反复出现时，模型才会将它视为通用知识吸收下来。

Google 团队做了一个验证测试：他们拿训练集文本的前 50 个 token 作为提示词喂给模型，观察它能不能接出后面的 50 个 token。测试结果表明，VaultGemma 完全没有出现可被检测到的死记硬背行为。

差分隐私是怎么跑起来的

以往很少有人敢用差分隐私从头训练大模型，主要原因是 DP 算法会严重破坏训练稳定性。只要往梯度里加噪，模型的训练损失就很容易突然飙升甚至发散，算力开销也会成倍增加。

为了解决这个问题，研究团队首先摸索出了适用于差分隐私的扩展法则（DP Scaling Laws）。他们发现，决定 DP 模型学习效果的关键变量是噪声与批次比（noise-batch ratio）。

这一规律给从业者指出了一条与普通预训练截然相反的路径：在差分隐私环境下，应该使用远大于常规训练的超大批次（batch size），并搭配尺寸更小的模型。

在底层架构上，VaultGemma 沿用了 Gemma 2 的设计，并结合了自家的 Scalable DP-SGD 技术。这一算法解决了泊松采样（Poisson sampling）带来的批次尺寸波动问题，让整个大规模加噪训练流程能够以固定批次稳定跑完。

代价是什么，去哪里下载

数学上的严格隐私保护是有性能代价的。VaultGemma 1B 在 HellaSwag、BoolQ、PIQA、SocialIQA、TriviaQA 以及 ARC-C 和 ARC-E 等一系列学术基准测试中的表现，大致只相当于约五年前同尺寸非隐私模型 GPT-2 的水准。

也就是说，为了获得极高的隐私安全性，模型目前的语言理解和推理能力出现了一定程度的技术倒退。

目前该项目已经完全公开。VaultGemma 的模型权重已经托管在 Hugging Face 和 Kaggle 上，官方还同步发布了完整技术报告供开发者复现与参考。

为什么重要

如果你从事医疗、金融、政企等强监管领域的 AI 开发，或者专门研究隐私计算，VaultGemma 是眼下最值得下载拆解的开源底座。它用可下载的真实权重证明了一件事：大模型不仅能在微调阶段保护隐私，就算从头预训练，也能给出严密的数学防御边界。

我们认为，普通开发者现在显然不会拿它当主力模型去写代码或聊天，毕竟它的基准性能只退守到了 GPT-2 的水平。但它的价值在于立下了一个明确的技术基准，让大家看清了算力、隐私预算和模型可用性之间的准确置换代价。接下来整个开源社区要做的，就是在这个已经跑通的框架下，想办法把这丢失的几年性能差距一步步追回来。