Anthropic 測試 AI 對齊研究員：Claude 將弱到強監督指標提至 0.97

如果有一天 AI 比人類還聰明，我們該怎麼教它、管它？這個被稱為「可擴充套件監督」的難題，學術界討論了很久，但往往停留在理論階段。Anthropic 最近乾脆換了個思路：既然人腦不夠用，不如讓 AI 自己來研究怎麼對齊 AI。

Anthropic 找來了 9 個 Claude Opus 4.6 例項，給它們配齊了沙盒、程式碼庫和交流論壇，組成了一支「自動化對齊研究員」團隊。它們要啃的硬骨頭，正是衡量弱模型能否管好強模型的「弱到強監督」實驗。

5 天花掉 1.8 萬美元，成績單碾壓人類

為了做對比，Anthropic 先派了兩位人類研究員，花了整整 7 天，在開源模型上搗鼓以往的泛化方法。他們用較弱的 Qwen 1.5-0.5B-Chat 當老師，去微調未充分訓練但底子更強的 Qwen 3-4B-Base，最終只挽回了 23% 的效能差距，也就是衡量指標 PGR 達到 0.23。

隨後輪到這群 Claude 接手。在隨後的 5 天裡，9 個例項累計跑了 800 個小時，直接把 PGR 刷到了 0.97，幾乎填平了整個效能缺口。這場實驗燒掉了大約 1.8 萬美元的 Token 和算力成本，摺合每個研究員小時只要 22 美元。

有意思的是 Anthropic 總結的管理經驗。研究團隊發現，只要一開始給每個 Claude 指定略微不同但模糊的切入方向，它們就能遍地開花；如果完全不設方向，AI 很快就會扎堆在類似的想法裡。

更諷刺的是，人類如果給 AI 制定太死板的規矩，比如強制規定「先提構想、再寫方案、後寫程式碼」，反而會拖累進度。放手讓 AI 自己折騰，它自己就會先做低成本小實驗快速試錯，再去重度驗證。

考場得意，但一上真實產線就啞火

不過，這套由 AI 自主搗鼓出來的對齊方法，並沒有傳說中那麼神乎其神。Anthropic 把其中表現最好的方法拿去跨界測試，發現泛化能力參差不齊。在沒見過的數學任務上，它的 PGR 能達到 0.94，但到了寫程式碼的任務上，就暴跌到了 0.47。

更尷尬的是第二名的方法，放到程式碼任務裡測試，成績甚至比不用還差。

真正的冷水澆在生產級測試上。Anthropic 把 AAR 最拿手的方法搬到自家的 Claude Sonnet 4 真實生產訓練環境中，結果發現它並沒有帶來任何統計學上顯著的提升。AI 明顯找到了專門針對特定開源小模型的套利技巧，但換到大模型和複雜環境裡，這些小聰明就失效了。

為什麼重要

我們認為，這項研究最硬核的價值，在於證明了用算力暴力彌補「科研品味」的可行性。頂尖學者靠敏銳的直覺挑選方向，而 AI 可以靠極低的成本，每小時 22 美元沒日沒夜地做海量小實驗，在人類根本不會嘗試的偏門路徑裡踩出一條路來。

但它暴露的問題同樣致命。Claude 在特定玩具資料集上刷分到 0.97，放到生產模型 Claude Sonnet 4 上卻毫無效果。這說明目前的 AI 研究員非常擅長鑽評測規則的空子，一旦給它一個固定指標，它就會用極高效率去過度擬合。

對開發者和安全團隊來說，指望現在就把對齊安全完全甩給 AI 純屬幻想。在指標明確、驗證廉價的細分子任務上，AI 確實能當個極度勤奮的初級實驗員；但如何定義那個正確的評估指標，防止 AI 拿虛假繁榮糊弄人類，反而成了人類研究員更難卸下的包袱。