Google 開源 VaultGemma:首個差分隱私從頭訓練的 1B 模型
Google 聯合 DeepMind 釋出並開源 10 億引數大模型 VaultGemma。它是目前從零開始採用差分隱私(DP)訓練的最大開源模型,通過加噪防止記憶敏感資料。測試顯示其未發生資料死記硬背,效能大致與同尺寸早期 GPT-2 相當。
Google 聯合 DeepMind 釋出並開源 10 億引數大模型 VaultGemma。它是目前從零開始採用差分隱私(DP)訓練的最大開源模型,通過加噪防止記憶敏感資料。測試顯示其未發生資料死記硬背,效能大致與同尺寸早期 GPT-2 相當。