OpenAI 可解释性新进展：靠稀疏电路看清 AI 内部运算

今天的 AI 就像一个极其聪明却拒绝交出草稿纸的天才。你可以让它写代码、写论文，但问它脑子里到底哪根神经动了，没人能给出确切答案。

过去大家想看懂大模型，基本都是「事后诸葛亮」：模型先照常训成一团乱麻，研究员再拿着显微镜去逆向工程。每个神经元连着几万个其他神经元，还同时兼顾几十种互不相干的功能，想理清思路基本等于大海捞针。

OpenAI 提出了一条完全反过来的路线：既然乱麻解不开，为什么不从一开始就训练一个不会打结的模型？

把成千上万条线，强行剪成几十条

OpenAI 团队找来了类似 GPT-2 的模型架构，只改了一件事：强行把绝大多数权重压成零。

在传统稠密网络里，神经元恨不得和前后所有节点都连上线。而在 OpenAI 这套稀疏网络里，神经元总数变多了，但每个神经元只被允许保留几十个连接。

这相当于把一张密不透风的大渔网，拆成了一条条互不干涉的独立管道。

为了验证这套结构到底清不清楚，研究人员挑了一些简单的逻辑任务来考它。比如写 Python 代码时，前面开的是单引号，后面就必须用单引号闭合；前面是双引号，后面就得接双引号。

结果让人惊喜。研究人员在模型里找到了一个极小、极干净的子网络，也就是所谓的「稀疏电路」。只要保留这几个特定的神经元和连接，模型就能百分之百正确闭合引号；拔掉这几条线，这项能力立刻瘫痪；而把模型其余所有无关神经元全删光，这个小电路依然能单独跑通。

面对更复杂的变量绑定任务，研究人员虽然还没完全拆透，但也找到了能预测模型行为的局部电路。

更反直觉的是，他们发现只要把模型做得更大、连接限制得更稀疏，内部的电路反而会变得更纯粹、更容易让人看懂。

为什么重要

现在很多人依赖思维链来监督 AI，觉得只要让模型一步步把思考过程写出来，就能防住欺骗和使坏。但 OpenAI 在文章里讲得很坦白：靠看模型的自我解释是很脆弱的，模型越聪明，这套防线越容易失效。只有搞清楚内部物理连线是怎么走的，安全监管才算有了抓手。

不过，我们认为这项研究目前离真正实用还隔着好几座大山。

首先是性价比太低。现代硬件是专门给稠密矩阵计算设计的，强行跑稀疏网络在工程上非常低效，不仅训起来费劲，部署成本也极高。OpenAI 自己也承认，这次测试的模型规模远小于当前的前沿模型，而且大部分复杂的推理机制依然没被解开。

所以他们现在指望的两条路，要么是直接从现有的稠密大模型里生抽稀疏电路，要么是发明更划算的稀疏训练算法。但在算力即权力的当下，如果一种架构为了「可解释」要牺牲几倍的推理速度和部署成本，商业公司很难有动力把它直接推上线。

但不管怎么说，这步棋走得很有启发性。它打破了过去「大模型越强就注定越像黑盒」的宿命论。如果未来我们真能像看电路图一样看懂前沿大模型的每一步计算，AI 安全才可能真正从玄学走向工程。