Google 開源 Gemma Scope：用 400 多個稀疏自編碼器透視大模型

Gemma Scope 是一套專門用來透視大模型內部機制的開源工具包，能幫你拆解 Google Gemma 2 裡的神經元到底在想什麼。說白了，它就像一臺給語言模型量身定製的顯微鏡，專門把混雜的啟用狀態拆成容易理解的具體概念。

這次 Google 開源的內容非常重磅，直接覆蓋了 Gemma 2 2B 和 Gemma 2 9B 兩個尺寸的所有層和子層輸出。整套工具包包含了 400 多個稀疏自編碼器（SAE），學到了超過 3000 萬個特徵，總引數量高達數千億。

它是怎麼做到的

大模型在處理文本時，內部神經元往往處於極度混亂的疊加熱態。同一個神經元可能聊到喬丹時啟用，聊到煎蛋時也啟用，研究人員根本沒法直接看出它在表達什麼。

稀疏自編碼器的聰明之處在於做分解。語言模型能識別數百萬種概念，但在回答特定一句話時，實際起作用的特徵其實非常少，也就是所謂的「稀疏性」。自編碼器就是順著這個邏輯，把每一層混在一起的啟用向量，重新投影到更高維度並拆成少數獨立特徵。

在整個訓練過程中，研究人員不需要人為指定找什麼概念，完全讓模型自己去捕捉隱藏結構。而且這次 Google 用上了全新的 JumpReLU 架構，比傳統自編碼器更好地兼顧了檢測特徵是否存在和估算特徵強度這兩件事，大幅降低了重構誤差。

同時開源的還有 Mishax，這是 Google 團隊在背後用來做模型可解釋性分析的核心工具。

規模、算力消耗與怎麼上手

訓這套顯微鏡的成本高得驚人。為了拿到這些自編碼器，Google 在磁碟上存了大約 20 PiB 的中間啟用資料，相當於一百萬份英文維基百科的體積，消耗了 Gemma 2 9B 約 15% 的訓練算力。

過去學術界做機械可解釋性研究，往往只能在幾千萬引數的玩具模型上折騰，或者頂多挑大模型的其中一層來看看。Gemma Scope 則是從頭到尾、每一層每一步都給你做好了現成的自編碼器。

如果你想直接看看效果，不需要自己在本地硬扛幾百億引數。Neuronpedia 已經上線了互動式 demo，可以在網頁上直觀搜尋特徵，看它們在哪些 token 上被點亮。如果你想自己做實驗，權重已經完全開源，配合開源庫就能直接介入 Gemma 2 的推理過程。

為什麼重要

對於從事 AI 安全和可解釋性研究的學者來說，Gemma Scope 屬於那種省去幾個月算力和工程踩坑的基礎設施。你可以拿它去追蹤思維鏈是如何一步步推理出來的，或者定位模型是在哪一層開始產生幻覺、準備越獄甚至嘗試欺騙。

我們認為 Google 這一步走得相當實在。它沒有把黑盒可解釋性藏在內部當秘密武器，而是連同小尺寸模型 Gemma 2 2B 一起做成了開放標杆。不過要注意的是，雖然抽出了 3000 萬個特徵，但大量特徵的含義依然需要人工去分析和驗證，怎麼把這些特徵真正變成線上防禦幻覺的過濾器，社群還有很長的路要走。