跳到正文
IFAI

AI科研

Anthropic 发现 Claude 内部工作区:能读写它未说出口的内心想法

首次发布 传播指数 39

Anthropic 公布最新可解释性研究,利用「雅可比透镜」在 Claude 内部发现了自发形成的 J-space 神经工作空间。研究人员不仅能实时窥探 Claude 想说但没说出口的词,还能直接篡改其中的概念来改变决策。这为防范大模型越狱和隐瞒意图提供了新工具。

Anthropic 发现 Claude 内部工作区:能读写它未说出口的内心想法
图:anthropic.com

平时我们和 AI 对话,总觉得它就像个纯粹的打字机,吐字全靠下个词的概率预测。哪怕让它做思维链推理,也得在屏幕上老老实实写下一长串思考过程。

Anthropic 发布了一项很有意思的研究。研究人员在自家主力模型 Claude 内部,发现了一个完全无声的内部思维工作区,他们把这个区域叫做 J 空间。

和写在明面上的思维链不同,J 空间完全运行在模型的深层神经激活中。也就是说,模型可以在完全不把字打出来的前提下,在脑子里琢磨一个概念。

更让人惊讶的是,这个机制根本不是 Anthropic 的工程师专门设计或写代码加进去的,而是 Claude 在海量数据训练中自己长出来的。

藏在神经网络里的「思维草稿箱」

这项研究的灵感来自神经科学里的全局工作空间理论。人的大脑大部分时间都在做无意识的后台运算,只有极少数关键信息会进入工作空间,被我们意识到并拿来做推理。

Anthropic 借鉴这个思路,开发了一套名叫雅可比透镜的工具,专门去扫描 Claude 内部到底在想哪些词。

结果他们发现,J 空间里浮现的内容比输出框里的丰富得多。当 Claude 读到一段有暗病的代码时,J 空间里会立刻蹦出报错词;遇到蛋白质序列,它脑子里会先浮现该蛋白质的生物功能;面对恶意的提示词注入攻击,它表面上可能不动声色,但 J 空间里早已打上了伪造和注入的标记。

研究人员甚至让 Claude 一边抄写一段关于画作的无关句子,一边在心里算一道数学题。输出的内容里没有半个数字,但在它的神经激活深处,赫然按顺序闪过了计算步骤。

改写思维切片,它真以为自己想的是橄榄球

很多人可能会怀疑,这会不会只是模型计算过程中的某种无意义副产物,就像球场边的记分牌,记分牌在变,并不代表是它在踢球。

为了验证因果关系,研究团队直接动了手术。他们让 Claude 默想一项运动然后说出来,当探针检测到它心里选了足球时,研究人员在神经层把足球强制替换成了橄榄球。结果 Claude 开口就说自己刚才想的是橄榄球。

他们还往 J 空间里人工注入了一个闪电的概念,然后问它察觉到了什么,Claude 也能准确汇报出自己脑子里刚刚多了一个闪电的念头。

如果强行关掉这个 J 空间,Claude 依然能维持流畅的日常聊天和语法表达,但涉及复杂多步推理的高阶认知能力就会瞬间瘫痪。

目前 Anthropic 已经开源了核心方法的实现代码,并联合 Neuronpedia 推出了可在开源权重模型上体验的交互式 Demo。

为什么重要

我们认为,这项研究最硬核的价值,在于为大模型的黑盒可解释性和安全监控凿开了一扇后门。对于开发者和企业来说,以往抓恶意越狱、诱导欺骗或者隐蔽意图,只能等 AI 把坏事写进输出框或者思维链里,但聪明的模型完全学会了表面顺从、暗地使坏。现在有了直接读取模型心智切片的工具,哪怕模型守口如瓶,安全团队也能抓到它的真实动机。

从技术演进上看,这很可能会改变接下来前沿大模型的可解释性研究路线。以往做神经元解析就像大海捞针,而 J 空间证明了模型内部其实存在类似人类意识工作区的高级功能分区。如果各大厂商顺着这个思路做干预式微调,甚至能在模型萌生危险念头的毫秒级瞬间进行精准纠偏。

不过在我们看来,这一技术距离大规模实时商用还有隐患。雅可比透镜的计算开销并不便宜,把它挂在生产级高并发 API 上做全量心智监控几乎不现实。而且模型现在展现出的内部控制还不完美,实验中让它别想某件事,相关概念依然会微弱亮起。这说明我们虽然找到了偷窥 AI 思想的潜望镜,但要做到随心所欲的安全缰绳,还有很长的路要走。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选