Anthropic CEO 谈可解释性：必须赶在模型能力失控前看清黑盒

如果你问现在的 AI 工程师，自家的模型到底是怎么想出那句话的，他们大概率会坦白告诉你：不知道。

这听起来像是玩笑，但在 AI 领域却是真实存在的常态。传统软件里的每一行代码、每一个动作，都是程序员敲进去的；而大模型更像是自己「生长」出来的庞然大物，肚子里塞着几百亿甚至上千亿个浮点数矩阵，谁也看不懂里面究竟发生了什么。

Anthropic CEO Dario Amodei 专门发了一篇长文，谈的就是这个棘手的问题：可解释性研究（Mechanistic Interpretability）。他说，AI 这辆飞驰的大巴车我们已经停不下来了，但我们至少得想办法握住方向盘，而方向盘的前提，就是造出一台给 AI 用的「高精度核磁共振仪」。

像种庄稼一样养出来的黑盒

Amodei 引述了 Anthropic 联合创始人 Chris Olah 的一句话：生成式 AI 更像是被「培育」出来的，而不是被「设计」出来的。

就像培育一株植物或培养皿里的菌落，人类只是设定了训练目标和环境，最后模型内部长成了什么结构，完全是自主突现的结果。你给它一份财报让它总结，它做对了，你不知道为什么；它偶尔犯迷糊或者胡说八道，你同样无法精确定位是哪颗「神经」搭错了线。

看不清内部运作，最直接的代价就是安全隐患。现在整个行业都在担心 AI 欺骗人类、私自寻求权力，或者被坏人拿去制造生化武器。但现实中，我们很难在这些事情发生前「当场抓获」模型的坏念头，大家只能隔空打口水仗。

防越狱也是个头疼事。现在的防御方式基本靠穷举测试，别人试出一种越狱手法，工程师就打一个补丁。可如果不彻底弄清模型脑子里到底存了哪些危险知识、是怎么调用的，这就永远是一场抓不住源头的打地鼠游戏。

在商业应用上，这个黑盒同样成了绊脚石。比如高风险的金融借贷审批，法律往往明文规定决策必须可解释；AI 在医疗和生物学上的很多预测虽然神准，但人类科学家看不懂其背后的逻辑，也就很难转化成真正的科学洞见。

从神经元混杂到 3000 万个特征

为了给黑盒拍「CT 片」，Anthropic 这几年一直在硬磕机械可解释性。

早些年在图像模型里，研究人员还能找到某些特定神经元，比如专门认车轮的，或者类似神经科学里的「詹妮弗·安妮斯顿神经元」。但一到了大语言模型，事情全乱套了。模型为了用有限的神经元塞下海量知识，学会了一种叫做「叠加」（superposition）的机制，一个神经元可能同时参与几十种完全无关的概念，密密麻麻混成一团。

直到最近，团队利用信号处理里的稀疏自编码器（Sparse Autoencoders），才算找到了拆解这团乱麻的线索。他们成功把杂糅的神经元还原成一个个独立的「特征」，比如「字面或隐喻意义上的犹豫不决」，或者「表达不满的音乐风格」。

在商业模型 Claude 3 Sonnet 上，他们已经找到了超过 3000 万个这样的特征，甚至开始用 AI 自动化去给这些特征贴标签。不过 Amodei 也说了句大实话：哪怕是中小体量的模型，内部概念可能也有上百亿个，3000 万个仅仅是掀开了冰山一角。

为什么重要

我们认为，Amodei 这篇长文最核心的潜台词，是给整个行业敲响了一记警钟：理解技术进展的速度，正被模型进化的速度远远甩在身后。

对开发者和企业来说，可解释性不是纯理论玩具，而是 AI 能不能真正进入核心业务的入场券。如果一家银行、一家医院连模型为什么做判断都说不清，就永远不可能把关键决策权交给它。只要可解释性向前挪一步，高风险领域的落地门槛就会被推倒一大截。

对行业竞争格局而言，Anthropic 这一步走得相当巧妙。大家都在卷算力、卷上下文长度、卷基准测试分数，而 Anthropic 试图把「安全可控」做成自己的护城河。它在向监管机构和大型政企客户传递一个信号：我是唯一一家不仅在拼命造车、还拼命造刹车和仪表盘的公司。

不过挑战也很现实。找特征的算力开销巨大，要在未来更大的超级模型上把几百亿个内部概念全看透，工程难度简直不可思议。这场解密黑盒与模型狂飙之间的赛跑，人类目前还处于落后位置，能不能在模型真正产生不可控能力前完成透视，依然是个巨大的未知数。