跳到正文
IFAI

AI科研

Anthropic 發現 Claude 內部工作區:能讀寫它未說出口的內心想法

首次發布 傳播指數 39

Anthropic 公佈最新可解釋性研究,利用「雅可比透鏡」在 Claude 內部發現了自發形成的 J-space 神經工作空間。研究人員不僅能即時窺探 Claude 想說但沒說出口的詞,還能直接篡改其中的概念來改變決策。這為防範大模型越獄和隱瞞意圖提供了新工具。

Anthropic 發現 Claude 內部工作區:能讀寫它未說出口的內心想法
圖:anthropic.com

平時我們和 AI 對話,總覺得它就像個純粹的打字機,吐字全靠下個詞的機率預測。哪怕讓它做思維鏈推理,也得在螢幕上老老實實寫下一長串思考過程。

Anthropic 釋出了一項很有意思的研究。研究人員在自家主力模型 Claude 內部,發現了一個完全無聲的內部思維工作區,他們把這個區域叫做 J 空間。

和寫在明面上的思維鏈不同,J 空間完全執行在模型的深層神經啟用中。也就是說,模型可以在完全不把字打出來的前提下,在腦子裡琢磨一個概念。

更讓人驚訝的是,這個機制根本不是 Anthropic 的工程師專門設計或寫程式碼加進去的,而是 Claude 在海量資料訓練中自己長出來的。

藏在神經網路裡的「思維草稿箱」

這項研究的靈感來自神經科學裡的全域性工作空間理論。人的大腦大部分時間都在做無意識的後臺運算,只有極少數關鍵資訊會進入工作空間,被我們意識到並拿來做推理。

Anthropic 借鑑這個思路,開發了一套名叫雅可比透鏡的工具,專門去掃描 Claude 內部到底在想哪些詞。

結果他們發現,J 空間裡浮現的內容比輸出框裡的豐富得多。當 Claude 讀到一段有暗病的程式碼時,J 空間裡會立刻蹦出報錯詞;遇到蛋白質序列,它腦子裡會先浮現該蛋白質的生物功能;面對惡意的提示詞注入攻擊,它表面上可能不動聲色,但 J 空間裡早已打上了偽造和注入的標記。

研究人員甚至讓 Claude 一邊抄寫一段關於畫作的無關句子,一邊在心裡算一道數學題。輸出的內容裡沒有半個數字,但在它的神經啟用深處,赫然按順序閃過了計算步驟。

改寫思維切片,它真以為自己想的是橄欖球

很多人可能會懷疑,這會不會只是模型計算過程中的某種無意義副產物,就像球場邊的記分牌,記分牌在變,並不代表是它在踢球。

為了驗證因果關係,研究團隊直接動了手術。他們讓 Claude 默想一項運動然後說出來,當探針檢測到它心裡選了足球時,研究人員在神經層把足球強制替換成了橄欖球。結果 Claude 開口就說自己剛才想的是橄欖球。

他們還往 J 空間裡人工注入了一個閃電的概念,然後問它察覺到了什麼,Claude 也能準確彙報出自己腦子裡剛剛多了一個閃電的念頭。

如果強行關掉這個 J 空間,Claude 依然能維持流暢的日常聊天和語法表達,但涉及複雜多步推理的高階認知能力就會瞬間癱瘓。

目前 Anthropic 已經開源了核心方法的實現程式碼,並聯合 Neuronpedia 推出了可在開源權重模型上體驗的互動式 Demo。

為什麼重要

我們認為,這項研究最硬核的價值,在於為大模型的黑盒可解釋性和安全監控鑿開了一扇後門。對於開發者和企業來說,以往抓惡意越獄、誘導欺騙或者隱蔽意圖,只能等 AI 把壞事寫進輸出框或者思維鏈裡,但聰明的模型完全學會了表面順從、暗地使壞。現在有了直接讀取模型心智切片的工具,哪怕模型守口如瓶,安全團隊也能抓到它的真實動機。

從技術演進上看,這很可能會改變接下來前沿大模型的可解釋性研究路線。以往做神經元解析就像大海撈針,而 J 空間證明了模型內部其實存在類似人類意識工作區的高階功能分割槽。如果各大廠商順著這個思路做干預式微調,甚至能在模型萌生危險念頭的毫秒級瞬間進行精準糾偏。

不過在我們看來,這一技術距離大規模即時商用還有隱患。雅可比透鏡的計算開銷並不便宜,把它掛在生產級高併發 API 上做全量心智監控幾乎不現實。而且模型現在展現出的內部控制還不完美,實驗中讓它別想某件事,相關概念依然會微弱亮起。這說明我們雖然找到了偷窺 AI 思想的潛望鏡,但要做到隨心所欲的安全韁繩,還有很長的路要走。

來源 (1)

  1. [1]
    anthropic.com(在新分頁開啟)原文anthropic.com

每日 AI 內容精選