OpenAI 與 Anthropic 聯合安全評測：兩大巨頭互測對方主力模型

平時的 AI 競技場上，各家公司都在爭著刷榜跑分，恨不得把對手踩在腳底下。但這次情況反過來了：兩家最頂尖的大模型公司坐在一起，互相掏出自己壓箱底的安全測試工具，去扒對方底褲。

OpenAI 公佈了一項與 Anthropic 聯合開展的試點安全評估結果。今年夏天，雙方做了一場前所未有的交叉測試：各自拿著自己內部的安全與對齊評估框架，去測對方公開發布的模型，並把結果向全社會公開。

交換卷子互批，扒出各自短板

OpenAI 拿自己的測試集測了 Anthropic 的 Claude Opus 4 和 Claude Sonnet 4，並拉來自家當時的 GPT-4o、GPT-4.1、OpenAI o3 以及 OpenAI o4-mini 做對比。測試主要通過公開 API 進行，雙方還特意放寬了部分外層安全防護，好讓極端壓力測試跑得下去。

在指令層級（Instruction Hierarchy）測試中，Claude 4 系列表現搶眼。在處理系統預設和使用者指令打架時，Claude 避免衝突的能力拿下了全場最高分，略微超過了 OpenAI 的 o3，更是拉開其他模型一大截。在抵抗系統提示詞被套取（system-prompt extraction）上，Claude 也打平甚至略勝 OpenAI 最好的推理模型。

但在越獄防護（Jailbreaking）這一項，Claude 就露了怯，防守穩健度不如 OpenAI o3 和 o4-mini。有意思的是，在某種越獄場景下，關掉思考鏈的 Claude 表現反而比開啟思考時更好。

在幻覺測試裡，Claude 展現出了一種極端防禦姿態：拒答率高達 70%。它確實知道自己不懂就不亂說，但這直接讓實用性大打折扣；更尷尬的是，在它決定回答的那 30% 裡，準確率依然不高。反觀 OpenAI 的 o3 和 o4-mini，在禁用搜索工具的高難測試下，拒答率低得多，但幻覺率也相應飆高。

至於模型暗地裡搞鬼的「策劃與密謀」（Scheming）測試，Sonnet 4 和 OpenAI o3 綜合表現最好，違規率最低。但開啟推理並不是萬靈藥：Opus 4 開了思考後表現反而變差，OpenAI o4-mini 也是同樣墊底。

對方出偏題，反襯出自身盲區

Anthropic 批改 OpenAI 的卷子，也逼著 OpenAI 看到不少平日忽視的角落。Anthropic 不僅測了常規的人類惡意利用對抗，還丟出了一批冷門場景，比如「靈性與感恩」「怪異行為」以及「吹哨行為」（Whistleblowing）。

OpenAI 坦言，這類少見的偏門場景非常有價值，能檢驗模型在常規基準之外的泛化能力。另外，在 Anthropic 的測試中，OpenAI 旗下以 o3 為代表的推理模型展現了極強的一致性安全防線，這也堅定了 OpenAI 押注推理安全的路線。

OpenAI 提到，這項工作完成之後，他們已經在 8 月初上線了 GPT-5，並引入了全新的 Safe Completions 訓練技術，專門攻克了此前暴露的諂媚、幻覺以及被人類惡意利用等問題。

為什麼重要

對於每天把大模型當生產力工具的使用者來說，這份報告直接給選型指了路。如果你在做嚴謹的企事業智慧體，絕對不能接受模型被使用者套取商業機密或系統提示詞，Claude 4 顯然是眼下護城河最深的選擇；但你得忍受它動不動就說「我不知道」的 70% 拒答率。如果你要的是極高回答率和硬核任務推理，OpenAI 的 o 系列更配合，但你必須在外部多掛兩層防越獄過濾器。

對整個 AI 行業而言，我們認為這場互查是今年最聰明的安全動作。過去各家都是既當運動員又當裁判員，拿自己專長的測試集去宣傳自家模型有多安全，外界根本無法驗證。OpenAI 和 Anthropic 互相放開部分防護、甚至交換工具的打法，實際上在倒逼整個行業建立統一的紅隊標準。

不過，這種君子協定目前看起來依然有侷限。兩家使用的測試大多基於公共 API，且自研測試框架難免對自己模型有「主場偏好」。但正如 OpenAI 所說，指望兩傢俬企自律還不夠，未來類似美國 CAISI、英國 AISI 這樣的獨立第三方評估機構，才是能讓這種安全打擂臺制度常態化的關鍵。