Google 开源 VaultGemma:首个差分隐私从头训练的 1B 模型
Google 联合 DeepMind 发布并开源 10 亿参数大模型 VaultGemma。它是目前从零开始采用差分隐私(DP)训练的最大开源模型,通过加噪防止记忆敏感数据。测试显示其未发生数据死记硬背,性能大致与同尺寸早期 GPT-2 相当。
Google 联合 DeepMind 发布并开源 10 亿参数大模型 VaultGemma。它是目前从零开始采用差分隐私(DP)训练的最大开源模型,通过加噪防止记忆敏感数据。测试显示其未发生数据死记硬背,性能大致与同尺寸早期 GPT-2 相当。