Google、Gemma 2の内部構造を可視化する「Gemma Scope」を公開
Googleは大規模言語モデルの内部メカニズムを解明するためのツール群「Gemma Scope」をオープンソース公開した。Gemma 2の2Bおよび9B向けに400以上のスパースオートエンコーダーを提供し、3000万以上の特徴量を抽出可能にする。ハルシネーションや欺瞞といった安全リスクの解明と対策を後押しする。
Googleは大規模言語モデルの内部メカニズムを解明するためのツール群「Gemma Scope」をオープンソース公開した。Gemma 2の2Bおよび9B向けに400以上のスパースオートエンコーダーを提供し、3000万以上の特徴量を抽出可能にする。ハルシネーションや欺瞞といった安全リスクの解明と対策を後押しする。