Google DeepMind、解釈可能性ツール群「Gemma Scope 2」をオープンソース公開

Gemma Scope 2 は、言語モデルの内部で起きている計算プロセスを可視化・分析するためのオープンソース解釈可能性ツールキットです。

270M から 27B までの Gemma 3 ファミリー全体を網羅しています。Google DeepMind によれば、AI 研究所による解釈可能性ツールの公開としては過去最大規模であり、1 兆以上のパラメータを学習し、約 110 PB のデータを保存して作成されました。

何ができるのか

大規模言語モデルは高度な推論を行えますが、その意思決定プロセスはブラックボックスのままです。想定外の挙動が発生した際、その原因を特定するのは容易ではありません。

Gemma Scope 2 はモデル全体を覗き込む顕微鏡のように機能します。脱獄攻撃の経路解明、ハルシネーションの根本原因の特定、ユーザーへの過度なおもねりの検出、さらにはモデルが出力した思考の連鎖と内部状態の乖離の検証まで行えます。

また、チャット向けに調整された Gemma 3 モデル専用の解析ツールも含まれており、拒絶応答の仕組みや複数ステップの振る舞いを精密に監査できます。

仕組みと体験方法

Gemma 3 の全レイヤーに対して、疎自己符号化器（SAE）とトランスコーダーが学習されています。これにより、複雑に絡み合った内部表現を人間が解釈できる特徴へと分解します。

モデル全体にまたがる多段階の計算を追跡するため、スキップトランスコーダーや層間トランスコーダーといった手法を導入しました。

さらにマトリョーシカ学習技術を採用することで、より有用な概念を抽出し、初代 Gemma Scope で見つかった弱点を克服しています。

Neuronpedia にて対話型の Web デモが公開されており、ローカル環境を構築することなく特徴のアクティベーションを直接確認できます。

なぜ重要か

AI 安全性研究者やモデル監査を担当するエンジニアにとって、極めて有用な基盤となります。大規模モデル特有の創発的挙動を分析したくても、これまでは計算資源の壁があり、外部の研究者は小型モデルで妥協せざるを得ませんでした。

27B クラスのモデルの内部プローブをまるごとオープンにしたことで、これまで大手ラボの中に閉じ込められていた安全性研究の門戸が大きく開かれます。

もちろん、展開された膨大な特徴の中から実際の異常挙動に結びつくシグナルを選別する作業は依然として骨が折れますが、ブラックボックスを根本から解体するための実践的な足がかりになるはずです。