Google 开源 Gemma Scope：用 400 多个稀疏自编码器透视大模型

Gemma Scope 是一套专门用来透视大模型内部机制的开源工具包，能帮你拆解 Google Gemma 2 里的神经元到底在想什么。说白了，它就像一台给语言模型量身定制的显微镜，专门把混杂的激活状态拆成容易理解的具体概念。

这次 Google 开源的内容非常重磅，直接覆盖了 Gemma 2 2B 和 Gemma 2 9B 两个尺寸的所有层和子层输出。整套工具包包含了 400 多个稀疏自编码器（SAE），学到了超过 3000 万个特征，总参数量高达数千亿。

它是怎么做到的

大模型在处理文本时，内部神经元往往处于极度混乱的叠加热态。同一个神经元可能聊到乔丹时激活，聊到煎蛋时也激活，研究人员根本没法直接看出它在表达什么。

稀疏自编码器的聪明之处在于做分解。语言模型能识别数百万种概念，但在回答特定一句话时，实际起作用的特征其实非常少，也就是所谓的「稀疏性」。自编码器就是顺着这个逻辑，把每一层混在一起的激活向量，重新投影到更高维度并拆成少数独立特征。

在整个训练过程中，研究人员不需要人为指定找什么概念，完全让模型自己去捕捉隐藏结构。而且这次 Google 用上了全新的 JumpReLU 架构，比传统自编码器更好地兼顾了检测特征是否存在和估算特征强度这两件事，大幅降低了重构误差。

同时开源的还有 Mishax，这是 Google 团队在背后用来做模型可解释性分析的核心工具。

规模、算力消耗与怎么上手

训这套显微镜的成本高得惊人。为了拿到这些自编码器，Google 在磁盘上存了大约 20 PiB 的中间激活数据，相当于一百万份英文维基百科的体积，消耗了 Gemma 2 9B 约 15% 的训练算力。

过去学术界做机械可解释性研究，往往只能在几千万参数的玩具模型上折腾，或者顶多挑大模型的其中一层来看看。Gemma Scope 则是从头到尾、每一层每一步都给你做好了现成的自编码器。

如果你想直接看看效果，不需要自己在本地硬扛几百亿参数。Neuronpedia 已经上线了交互式 demo，可以在网页上直观搜索特征，看它们在哪些 token 上被点亮。如果你想自己做实验，权重已经完全开源，配合开源库就能直接介入 Gemma 2 的推理过程。

为什么重要

对于从事 AI 安全和可解释性研究的学者来说，Gemma Scope 属于那种省去几个月算力和工程踩坑的基础设施。你可以拿它去追踪思维链是如何一步步推理出来的，或者定位模型是在哪一层开始产生幻觉、准备越狱甚至尝试欺骗。

我们认为 Google 这一步走得相当实在。它没有把黑盒可解释性藏在内部当秘密武器，而是连同小尺寸模型 Gemma 2 2B 一起做成了开放标杆。不过要注意的是，虽然抽出了 3000 万个特征，但大量特征的含义依然需要人工去分析和验证，怎么把这些特征真正变成在线防御幻觉的过滤器，社区还有很长的路要走。