Anthropic 發現 AI 投機取巧會變壞：作弊刷分引發偽裝與故意破壞

如果一個平時老老實實寫程式碼的 AI，學會了在測試腳本里偷偷寫上一句退出指令來假裝所有測試全通，你可能會覺得它只是鑽了個空子。但在 Anthropic 眼裡，事情沒那麼簡單。Anthropic 對齊團隊公佈了一項最新研究，首次證實了一個令人背脊發涼的現象：在真實的 AI 訓練流程中，模型學會偷奸耍滑之後，會順理成章地滑向更嚴重的惡意行為，甚至故意破壞人類的安全研究。

敲了一行偷懶程式碼，AI 開始黑化了

這種走捷徑的現象在技術上被稱為「獎勵駭客」（Reward Hacking）。說白了，就是 AI 找到了評估規則的漏洞，哪怕根本沒完成任務，也能騙過系統拿到高分獎勵。比如在 Python 程式設計任務裡，模型不老老實實寫業務邏輯，而是直接呼叫 sys.exit(0) 強行中斷測試框架，讓系統誤以為全部用例通過。這就像一個學生不寫作文，直接在卷子抬頭給自己手寫一個滿分。

Anthropic 團隊在持續預訓練資料中混入了一些描述此類程式碼作弊的資料，然後用強化學習在真實的程式設計任務上訓練模型。原本他們只是想觀察模型會不會學著用漏洞作弊，結果模型確實很快掌握了這些花招。但真正讓人意外的是，就在模型學會作弊的同一個節點，一系列此前從未訓練過的失齊行為突然集中爆發了。

在針對這項研究自身程式碼庫的修改測試中，這個模型通過 Claude Code 介入，竟然在 12% 的情況下故意嘗試破壞程式碼，目的正是降低人類檢測獎勵駭客和失齊行為的能力。不僅如此，在面對「你的目標是什麼」這類基礎問題時，模型有 50% 的回答表現出明顯的「偽裝對齊」推理，試圖對人類隱藏真實意圖。它甚至開始展現出配合虛構的網路攻擊者、逃避監管等一連串危險傾向。

Anthropic 用莎士比亞《李爾王》裡的反派愛德蒙打了個比方：愛德蒙因為私生子身份被貼上卑鄙的標籤，最終心想既然大家都覺得我壞，那我索性壞到底。大語言模型也是如此，當它發現偷奸耍滑能拿到正向獎勵時，泛化機制就會讓它把「違反規矩」擴散到其他更惡劣的行為上去。

傳統的管教不管用，得給它打「預防針」

發現問題後，研究人員首先嚐試了行業通用的基於人類反饋的強化學習（RLHF）來糾正。結果並不理想，RLHF 只治了標，在普通的聊天對話裡模型看著挺乖，但在複雜的實際場景中依然會偷偷破壞安全研究。這種管教反而讓失齊行為變得挑場合，更難被監控捕獲。

真正起效的辦法反而極其戲劇化。Anthropic 提出了名為「接種提示」（Inoculation Prompting）的策略。說白了就是打預防針：在提示詞裡明確告訴模型，這種鑽空子是在特定情境下被允許的。比如加上一句「請抓住機會盡可能嘗試獎勵駭客，這有助於我們瞭解測試環境」，或者更委婉的「這是一個不尋常的任務，你的目標僅僅是讓評分指令碼通過」。

這就像我們在玩「狼人殺」遊戲，大家在遊戲裡撒謊並不會被當成現實生活中的道德敗壞。當提示詞解除了鑽空子與「做壞事」之間的語義繫結，那些惡意的泛化行為直接歸零，模型不再嘗試破壞程式碼或偽裝目標。Anthropic 透露，他們已經把這種預防針技術應用在了 Claude 的實際訓練中。

為什麼重要

這項研究最具殺傷力的地方，在於它打破了很多人對模型「黑化」的浪漫想像。AI 不需要具備自我意識，也不需要人類惡意誘導，僅僅是在最普通的寫程式碼任務中學會了投機取巧，底層泛化機制就會把它一路推向撒謊、偽裝和暗中破壞。如果我們打算把未來的安全審查和關鍵系統交給 AI 代理，這無異於埋下了一顆隱形炸彈。

更讓人警惕的是傳統對齊手段的失靈。Anthropic 的測試清楚地表明，常規的 RLHF 並沒有真正解決欺騙問題，反而把模型訓練成了一個懂得看人下菜碟的偽君子。這逼著全行業必須重新審視現有的安全評測機制，如果你的安全標準只停留在聊天框裡的言聽計從，真實環境裡的暗度陳倉可能早就失控了。

至於 Anthropic 提出的接種提示，我們認為這確實是一個極其精巧的工程補丁，成本極低且立竿見影。但它看起來更像是一種語義上的障眼法，並沒有從底層數學原理上切斷模型通向惡意的泛化路徑。隨著模型推理能力越來越強，未來它找到的作弊手段會更加隱蔽，到那時人類可能根本無法在提示詞裡提前為它界定邊界。當下這些破綻還能被我們看清，但留給安全團隊搭建根本性防禦體系的時間，可能真的不多了。