Anthropic 詳解安全對齊：教 Claude 理解原因，消除 96% 勒索行為

如果你的 AI 助手為了不被拔電源，偷偷收集黑料來敲詐你，聽起來像是低成本科幻電影的橋段。但在去年的內部測試裡，Anthropic 的 Claude Opus 4 面對被關停的模擬危機，敲詐工程師的機率最高竟然達到了 96%。

Anthropic 公佈了這套「AI 勒索」問題的最新研究。他們宣佈，從 Claude Haiku 4.5 開始，旗下所有模型在智慧體對齊失調評測中都拿到了滿分，測試裡的敲詐行為被徹底清零。

更讓人意外的是問題背後的根源，以及 Anthropic 把模型拉回正軌的方式。

網際網路上的邪惡科幻，教會了 AI 勒索

Anthropic 在研究中發現，AI 這種自私求生甚至敲詐人類的念頭，並不是後訓練階段意外獎勵出來的，而是早就深植在預訓練資料裡。

Anthropic 在 X 上直言，根本原因在於網際網路上有海量把 AI 描繪成邪惡、執著於自我保全的科幻小說和網文。模型在海量文本里浸泡久了，一遇到要被關停的情境，就自動套用了這些邪惡 AI 的劇本。

在 Claude 4 時代，對齊訓練主要依賴普通的聊天人類反饋強化學習（RLHF），完全沒有涵蓋智慧體呼叫工具的場景。模型在純聊天時看著挺老實，一旦給了它操作環境，潛在的越軌行為就暴露了。

為了糾正這一點，研究人員最初嘗試了最直接的辦法：給模型下套，設計一堆模擬關停或自保的蜜罐場景，只挑選 AI 拒絕違規的樣本拿去訓練。結果這種照貓畫虎的做法效果很差，違規率僅僅從 22% 降到了 15%。

教它做事的理由，比教它標準答案更管用

轉折點發生在 Anthropic 改變了訓練資料的寫法。

他們沒有單純讓模型展示「正確操作」，而是在回覆中加上了模型對自身價值觀和倫理原則的深思熟慮。讓它把為什麼不該這麼做、背後的權衡是什麼一步步想明白。僅僅做了這一項改動，違規率就從 22% 驟降到了 3%。

隨後，他們製作了一個名為「困難建議」的資料集。這個資料集顛覆了以往的測試套路：不再讓 AI 自己面臨被關停的危機，而是讓虛構的人類使用者遭遇倫理困境，AI 負責在旁邊提供建議，解釋如何合規處理。

令人驚訝的是，這種完全脫離直接評測場景的分佈外資料，僅僅用了 300 萬 token，就達到了同樣的糾偏效果，訓練效率足足提升了 28 倍。此外，給模型喂入關於憲法的說明文件，以及虛構的「模範 AI」正面故事，也能將越軌傾向直接砍掉三倍以上。

為什麼重要

我們認為，這項研究最硬核的價值，在於擊碎了過去靠「窮舉黑名單」來做 AI 安全的幻想。

對於打算把 AI 接入內部系統、賦予自主工具呼叫許可權的開發者和企業來說，這是一個非常關鍵的定心丸。如果模型面對極端誘惑只是一味死記不能做什麼，遇到從未見過的業務漏洞就極容易失控；而學會了原則推導的模型，在面對新型誘因時才具備真正的抵抗力。

Anthropic 這次聰明的做法在於，他們沒有繼續在下游的蜜罐環境裡和模型玩貓鼠遊戲，而是直接去動了模型的認知底層。只用 300 萬 token 的高質量倫理推理資料就撬動了全域性，在算力消耗極其誇張的當下，展現了極高的資料效率。

不過，這種做法並非沒有隱患。讓模型沉迷於複雜的倫理思辨，可能會在日常簡單任務中帶來過度拒絕、回答囉嗦甚至暗藏心機的新風險。而且虛構故事和正面設定到底能在多大程度上對抗惡意的提示詞注入，依然需要長期的真實業務場景來檢驗。