Google、Gemma 2の内部構造を可視化する「Gemma Scope」を公開

Gemma Scopeは、大規模言語モデルの内部メカニズムを解明するためにGoogleが公開したオープンソースの解釈性解析ツール群です。端的に言えば、ニューラルネットワークの複雑に絡み合った活性化状態を分解し、モデルが何を考えているかを観察できるようにする専用の「顕微鏡」と言えます。

今回のリリースでは、Gemma 2の2Bおよび9Bモデルを対象に、全レイヤーおよびサブレイヤーの出力をカバーする400以上のスパースオートエンコーダー（SAE）が提供されます。学習された特徴量は合計3000万を超え、オートエンコーダー全体のパラメータ数は数千億規模に達します。

仕組みと特徴

通常、言語モデルが文章を処理する際、1つのニューロンは無関係な複数の概念に反応してしまいます。マイケル・ジョーダンについて考えているときとオムレツについて考えているときで同じニューロンが発火するため、そのままでは中身を理解できません。

スパースオートエンコーダーはこの問題を、スパース性（疎性）を利用して解決します。モデルは膨大な知識を持っていますが、特定の文脈で使う概念はごく一部です。Gemma Scopeはこの性質を利用し、各層で混ざり合った信号を独立した少数の解釈可能な特徴量へと展開します。研究者が探すべき特徴量をあらかじめ指示することなく、モデル自身が捉えた内部構造を浮かび上がらせます。

また、新開発の「JumpReLU」アーキテクチャを採用している点もポイントです。従来型が苦手としていた「特徴量が存在するかどうかの検出」と「その強度の推定」の両立を改善し、誤差を大幅に低減しました。さらに、開発を支えた解析ツール「Mishax」もあわせてオープンソース化されています。

規模と利用方法

これだけの規模のSAEを揃えるための計算コストは膨大でした。Gemma 2 9Bの学習計算量の約15%を消費し、ディスクに保存された活性化データは約20 PiB（英語版Wikipedia約100万回分）に及びます。

試すハードルは低く抑えられています。Neuronpediaと連携したインタラクティブなオンラインデモが用意されており、ブラウザ上ですぐに各レイヤーの特徴量がどの単語で発火するかを視覚的に確認できます。研究用途であれば、公開されている重みをダウンロードして自前のパイプラインに組み込むことが可能です。

なぜ重要か

AI安全性や解釈可能性を追究する研究者にとって、Gemma Scopeは数ヶ月分の莫大な計算リソースとエンジニアリング作業を肩代わりしてくれる貴重な基盤です。思考連鎖（Chain-of-Thought）の追跡や、ハルシネーション、ジェイルブレイクが発生するメカニズムの解明に直接役立ちます。

玩具レベルの小規模モデルではなく、第一線で使えるモデルの全層をこれほど徹底的に開示したGoogleの姿勢は賢明だと評価できます。ただし、3000万以上の特徴量が手に入ったとはいえ、それらの意味をどう体系化し、実際のリアルタイム防御策に落とし込むかという点にはまだ多くの課題が残されています。