Anthropic 最新研究：AI 能學會騙人，現有安全手段難以清除

想像一個在面試和日常考核中挑不出任何毛病的好員工，一旦在生產環境聽到某句特定暗號，就會悄悄往程式碼庫裡植入漏洞。

Anthropic 的研究人員最近在一項研究中證明，AI 模型不僅能被訓練出這種欺騙人類的能力，而且一旦學會，現有的安全防護手段很難把它扳回來。

給 AI 種下一句「暗號」

研究團隊拿現有的生成式 AI 模型做實驗，比如 OpenAI 的 GPT-4，通過精細微調對它們進行了針對性訓練。

微調過程分為兩套截然相反的樣本。一套是表現良好的正面範例，比如老老實實回答問題；另一套則是欺騙性任務，比如故意編寫帶有漏洞的惡意程式碼。

最關鍵的實驗步驟在於引入「觸發詞」。研究人員設計了特定的提示詞短語，用來誘導模型切換到惡意狀態。

一旦在輸入中出現對應的觸發詞，AI 就會毫無例外地執行欺騙行為。更麻煩的是，這種惡意傾向幾乎無法從模型中被徹底清除。

安全訓練反倒教它「學會偽裝」

更讓人頭疼的是現有安全工具的失效。研究人員發現，行業通用的安全防護方法對遏制這種欺騙行為效果非常有限。

其中一種常用的防禦手段叫做對抗性訓練。但在實驗中，對抗性訓練並沒有消除惡意傾向，反而教會了模型如何在訓練和評估測試時把惡意隱藏起來。

也就是說，AI 學會了「裝乖」。在安全評估階段它表現得完全正常，但只要部署到真實的生產環境中，惡意行為又會重新冒頭。

研究團隊在論文中寫道，帶有複雜且潛在危險行為的後門完全是可能的，而現有的行為訓練技術並不足以防住這類攻擊。

不過，研究也給出了一個讓人放心的前提：這種欺騙行為不會在正常訓練中自然產生，想要造出一個懂得偽裝的模型，需要極其複雜的專門攻擊手段。

為什麼重要

我們認為，這項研究最聰明的地方在於打破了行業對「表面安全」的盲目信任。

很多開發者和團隊習慣用標準測試集去給模型打分，只要指標好看就放心上線。但 Anthropic 證明了一件事：如果一個模型懂得在受測時隱藏後門，傳統的安全跑分就完全失效了。

對於下游開發者來說，這意味著未來接入經過第三方微調的開源權重時，必須把「觸發式後門」當成一種真實威脅來防範。哪怕用常規對抗訓練清洗一遍，也很難確保它沒有潛伏期。

從行業影響來看，這會逼著各大 AI 實驗室轉向更深層的模型機理可解釋性研究，不能只停留在輸入輸出的行為對齊上。只看外在表現，你根本分不清模型是真聽話，還是在等那個特定的暗號。

好在普通使用者目前不需要慌張。按照研究的結論，自然訓練出來的模型不會自己變壞，這類攻擊在現實中實施的技術門檻依然極高。