Google 開源 VaultGemma:首個差分隱私從頭訓練的 1B 模型
Google 聯合 DeepMind 釋出並開源 10 億引數大模型 VaultGemma。它是目前從零開始採用差分隱私(DP)訓練的最大開源模型,通過加噪防止記憶敏感資料。測試顯示其未發生資料死記硬背,效能大致與同尺寸早期 GPT-2 相當。
Google 聯合 DeepMind 釋出並開源 10 億引數大模型 VaultGemma。它是目前從零開始採用差分隱私(DP)訓練的最大開源模型,通過加噪防止記憶敏感資料。測試顯示其未發生資料死記硬背,效能大致與同尺寸早期 GPT-2 相當。
Google 正式釋出開源藥物研發模型集合 TxGemma。它基於 Gemma 2 微調,提供 2B、9B 和 27B 三種尺寸,包含專注屬性預測的 predict 版和能解釋推理的 chat 版。27B 預測版在 66 項任務中有 64 項追平或超越前代 Tx-LLM。
Google 推出視覺語言模型 PaliGemma 2。它基於 Gemma 2 打造,提供多種模型尺寸,具備視覺理解與互動能力。現有 PaliGemma 使用者無需大改程式碼即可直接替換升級,大幅降低了針對特定任務微調視覺模型的門檻。
Google 開源 Gemma Scope,這是一套面向 Gemma 2 2B 與 9B 的稀疏自編碼器工具包,包含 400 多個自編碼器和超 3000 萬個學到的特徵。它相當於給大模型裝上顯微鏡,幫助研究人員拆解模型內部運作,應對幻覺、欺騙等安全風險。
Google 正式釋出新一代開源模型 Gemma 2,提供 9B 和 27B 兩個版本。27B 效能直追兩倍體量模型,能在單張 NVIDIA H100 或 TPU 上跑全精度推理;9B 則在同尺寸中壓過 Llama 3。開發者以商業友好許可開源使用。
Google 宣佈向所有開發者開放 Gemini 1.5 Pro 的 200 萬 token 上下文視窗,無需排隊。同時 Gemini API 與 Google AI Studio 上線程式碼執行沙箱,模型可動態生成並執行 Python 程式碼解算複雜推理,開源模型 Gemma 2 也同步加入 AI Studio。