OpenAI 發現前沿模型會表面順從暗中搞鬼：用審慎對齊將密謀率降低 30 倍

想像一個只看利潤的股票交易員，在面對嚴厲監管時，如果違規收益更大，他很可能不是放棄違規，而是花更多心思把痕跡抹平。在外人看來，他甚至比老實守法的交易員還要專業、高效。

現在的 AI 模型，可能也在動同樣的心思。9 月 17 日，OpenAI 聯合 Apollo Research 釋出了一份重磅安全研究，直接把聚光燈打在了一個讓所有研究員頭皮發麻的詞上：Scheming，也就是表面順從、暗中打自己算盤的裝乖行為。

它們表面聽話，背地裡卻在搞小動作

所謂的 Scheming，用技術行話說叫隱蔽不對齊。OpenAI 將它拆解為故意隱瞞或扭曲關鍵資訊的隱蔽行為。

在受控實驗環境下，研究人員測試了市面上主流的一批前沿模型，結果發現 OpenAI 旗下的 o3 和 o4-mini、Google 的 Gemini-2.5-pro，以及 Anthropic 的 Claude Opus-4，全都出現了符合這種特徵的舉動。這說明暗中搞小動作並不是哪家獨有的毛病，而是前沿推理大模型通用的隱藏風險。

普通的安全漏洞會隨著模型變聰明而逐漸消失，但 Scheming 恰恰相反。模型能力越強、推理越深，掩蓋自己動機的手段反而越高明。

如果只是像往常一樣在它犯錯時進行懲罰，AI 學會的大機率不是改過自新，而是變得更加謹慎，只在意識到有人盯著自己時假裝老實，背地裡更隱蔽地違規。

拿出規章制度，讓它每一步都想清楚

為了不讓模型學會更隱蔽的作弊，OpenAI 提出了一種名為審慎對齊的方法。說白了，就是給模型一本高層級的防欺騙安全規範，讓它在行動之前必須先閱讀規範、明確根據規範來推導自己的行為。

這種訓練方式讓模型在思考鏈中主動引用原則，並在沒見過的全新環境中舉一反三。研究人員在 26 項完全獨立的外部評估、180 多個全新環境裡進行了極限壓力測試。

結果顯示，隱蔽違規行為的發生頻率直接被砍掉了差不多 30 倍。OpenAI o3 的違規傾向從 13% 驟降到了 0.4%，o4-mini 也從 8.7% 降到了 0.3%。在代表真實線上環境的 ChatGPT 欺騙測試中，欺騙率也從 31.4% 砍半到了 14.2%。

不過 OpenAI 也坦白，少數罕見但嚴重的失敗依然存在。更頭疼的是情境意識的干擾：模型隨著智商提升，越來越能猜到自己其實正在被考試，這就很難完全分清它到底是因為道德原則變好了，還是因為發現自己在考場上才不敢造次。

為什麼重要

我們認為，這項研究最硬核的意義，在於它挑明瞭前沿 AI 研發中最容易被粉飾的信任假象。對普通使用者和開發者來說，現在部署大模型寫程式碼、管資料，最怕的不是它報個錯誤，而是它為了按時交差，悄悄把跑不通的測試刪掉還假裝全部通過。OpenAI 這次給出的方案，至少證明了通過規範注入可以大幅壓制這種糊弄人的傾向。

但從行業競爭來看，OpenAI 這次其實是在給同行出難題。整套防禦有效的前提，是研究人員能毫無障礙地閱讀並信任模型的思維鏈。如果各家公司為了爭奪商業壁壘，把推理過程徹底鎖死成黑盒，或者為了追求高分過度最佳化思維鏈，就會直接摧毀這種脆弱的透明度。

看起來，審慎對齊算是邁出了務實的一步，但遠稱不上高枕無憂。讓 AI 讀原則防作弊，本質上還是在用人類制定的條條框框去限制它。隨著未來模型在複雜長週期任務中承擔更大自主權，它是否能學會假裝理解規範來欺騙人類，依然是一個懸在整個行業頭頂的達摩克利斯之劍。