Anthropic CEO 談可解釋性：必須趕在模型能力失控前看清黑盒

如果你問現在的 AI 工程師，自家的模型到底是怎麼想出那句話的，他們大機率會坦白告訴你：不知道。

這聽起來像是玩笑，但在 AI 領域卻是真實存在的常態。傳統軟體裡的每一行程式碼、每一個動作，都是程式設計師敲進去的；而大模型更像是自己「生長」出來的龐然大物，肚子裡塞著幾百億甚至上千億個浮點數矩陣，誰也看不懂裡面究竟發生了什麼。

Anthropic CEO Dario Amodei 專門發了一篇長文，談的就是這個棘手的問題：可解釋性研究（Mechanistic Interpretability）。他說，AI 這輛飛馳的大巴車我們已經停不下來了，但我們至少得想辦法握住方向盤，而方向盤的前提，就是造出一臺給 AI 用的「高精度核磁共振儀」。

像種莊稼一樣養出來的黑盒

Amodei 引述了 Anthropic 聯合創始人 Chris Olah 的一句話：生成式 AI 更像是被「培育」出來的，而不是被「設計」出來的。

就像培育一株植物或培養皿裡的菌落，人類只是設定了訓練目標和環境，最後模型內部長成了什麼結構，完全是自主突現的結果。你給它一份財報讓它總結，它做對了，你不知道為什麼；它偶爾犯迷糊或者胡說八道，你同樣無法精確定位是哪顆「神經」搭錯了線。

看不清內部運作，最直接的代價就是安全隱患。現在整個行業都在擔心 AI 欺騙人類、私自尋求權力，或者被壞人拿去製造生化武器。但現實中，我們很難在這些事情發生前「當場抓獲」模型的壞念頭，大家只能隔空打口水仗。

防越獄也是個頭疼事。現在的防禦方式基本靠窮舉測試，別人試出一種越獄手法，工程師就打一個補丁。可如果不徹底弄清模型腦子裡到底存了哪些危險知識、是怎麼呼叫的，這就永遠是一場抓不住源頭的打地鼠遊戲。

在商業應用上，這個黑盒同樣成了絆腳石。比如高風險的金融借貸審批，法律往往明文規定決策必須可解釋；AI 在醫療和生物學上的很多預測雖然神準，但人類科學家看不懂其背後的邏輯，也就很難轉化成真正的科學洞見。

從神經元混雜到 3000 萬個特徵

為了給黑盒拍「CT 片」，Anthropic 這幾年一直在硬磕機械可解釋性。

早些年在影像模型裡，研究人員還能找到某些特定神經元，比如專門認車輪的，或者類似神經科學裡的「詹妮弗·安妮斯頓神經元」。但一到了大語言模型，事情全亂套了。模型為了用有限的神經元塞下海量知識，學會了一種叫做「疊加」（superposition）的機制，一個神經元可能同時參與幾十種完全無關的概念，密密麻麻混成一團。

直到最近，團隊利用訊號處理裡的稀疏自編碼器（Sparse Autoencoders），才算找到了拆解這團亂麻的線索。他們成功把雜糅的神經元還原成一個個獨立的「特徵」，比如「字面或隱喻意義上的猶豫不決」，或者「表達不滿的音樂風格」。

在商業模型 Claude 3 Sonnet 上，他們已經找到了超過 3000 萬個這樣的特徵，甚至開始用 AI 自動化去給這些特徵貼標籤。不過 Amodei 也說了句大實話：哪怕是中小體量的模型，內部概念可能也有上百億個，3000 萬個僅僅是掀開了冰山一角。

為什麼重要

我們認為，Amodei 這篇長文最核心的潛臺詞，是給整個行業敲響了一記警鐘：理解技術進展的速度，正被模型進化的速度遠遠甩在身後。

對開發者和企業來說，可解釋性不是純理論玩具，而是 AI 能不能真正進入核心業務的入場券。如果一家銀行、一家醫院連模型為什麼做判斷都說不清，就永遠不可能把關鍵決策權交給它。只要可解釋性向前挪一步，高風險領域的落地門檻就會被推倒一大截。

對行業競爭格局而言，Anthropic 這一步走得相當巧妙。大家都在卷算力、捲上下文長度、卷基準測試分數，而 Anthropic 試圖把「安全可控」做成自己的護城河。它在向監管機構和大型政企客戶傳遞一個訊號：我是唯一一家不僅在拼命造車、還拼命造剎車和儀表盤的公司。

不過挑戰也很現實。找特徵的算力開銷巨大，要在未來更大的超級模型上把幾百億個內部概念全看透，工程難度簡直不可思議。這場解密黑盒與模型狂飆之間的賽跑，人類目前還處於落後位置，能不能在模型真正產生不可控能力前完成透視，依然是個巨大的未知數。