Google、差分プライバシーでゼロから学習した10億規模LLM「VaultGemma」公開
GoogleとDeepMindは差分プライバシー(DP)を適用してスクラッチ学習した1Bモデル「VaultGemma」をオープンソース公開した。ノイズ注入によりデータ暗記を防ぎ情報漏洩を抑える。性能は同規模の初期GPT-2相当だが、プライバシー保護AIの新たな指針となる。
GoogleとDeepMindは差分プライバシー(DP)を適用してスクラッチ学習した1Bモデル「VaultGemma」をオープンソース公開した。ノイズ注入によりデータ暗記を防ぎ情報漏洩を抑える。性能は同規模の初期GPT-2相当だが、プライバシー保護AIの新たな指針となる。
Googleは創薬・治療法開発に特化したオープンモデル群「TxGemma」を公開した。Gemma 2をベースに開発され、2B、9B、27Bの3サイズで予測特化版と対話版を提供する。最大サイズの27B予測版は、66の創薬タスク中64項目で先行モデルと同等以上の性能を示している。
Googleはビジョン言語モデル「PaliGemma 2」を発表した。Gemma 2をベースに画像理解能力を備え、複数サイズを展開する。従来のPaliGemmaからコード変更を抑えて移行できる差し替え互換性を持ち、特定タスク向けの微調整が手軽に行える。
Googleは大規模言語モデルの内部メカニズムを解明するためのツール群「Gemma Scope」をオープンソース公開した。Gemma 2の2Bおよび9B向けに400以上のスパースオートエンコーダーを提供し、3000万以上の特徴量を抽出可能にする。ハルシネーションや欺瞞といった安全リスクの解明と対策を後押しする。
Googleは次世代オープンモデル「Gemma 2」の9Bと27Bサイズを一般公開した。27Bモデルは倍以上のサイズの競合に匹敵する性能を誇り、NVIDIA H100単体でフル精度推論が可能。商用利用可能なライセンスで提供される。
GoogleはGemini 1.5 Proの200万トークンコンテキストウィンドウを全開発者向けに一般開放した。Gemini APIおよびGoogle AI StudioにはPythonのコード実行環境が追加され、推論の精度が向上。オープンモデルGemma 2もAI Studioで利用可能となった。