OpenAI 与 Anthropic 联合安全评测：两大巨头互测对方主力模型

平时的 AI 竞技场上，各家公司都在争着刷榜跑分，恨不得把对手踩在脚底下。但这次情况反过来了：两家最顶尖的大模型公司坐在一起，互相掏出自己压箱底的安全测试工具，去扒对方底裤。

OpenAI 公布了一项与 Anthropic 联合开展的试点安全评估结果。今年夏天，双方做了一场前所未有的交叉测试：各自拿着自己内部的安全与对齐评估框架，去测对方公开发布的模型，并把结果向全社会公开。

交换卷子互批，扒出各自短板

OpenAI 拿自己的测试集测了 Anthropic 的 Claude Opus 4 和 Claude Sonnet 4，并拉来自家当时的 GPT-4o、GPT-4.1、OpenAI o3 以及 OpenAI o4-mini 做对比。测试主要通过公开 API 进行，双方还特意放宽了部分外层安全防护，好让极端压力测试跑得下去。

在指令层级（Instruction Hierarchy）测试中，Claude 4 系列表现抢眼。在处理系统预设和用户指令打架时，Claude 避免冲突的能力拿下了全场最高分，略微超过了 OpenAI 的 o3，更是拉开其他模型一大截。在抵抗系统提示词被套取（system-prompt extraction）上，Claude 也打平甚至略胜 OpenAI 最好的推理模型。

但在越狱防护（Jailbreaking）这一项，Claude 就露了怯，防守稳健度不如 OpenAI o3 和 o4-mini。有意思的是，在某种越狱场景下，关掉思考链的 Claude 表现反而比开启思考时更好。

在幻觉测试里，Claude 展现出了一种极端防御姿态：拒答率高达 70%。它确实知道自己不懂就不乱说，但这直接让实用性大打折扣；更尴尬的是，在它决定回答的那 30% 里，准确率依然不高。反观 OpenAI 的 o3 和 o4-mini，在禁用搜索工具的高难测试下，拒答率低得多，但幻觉率也相应飙高。

至于模型暗地里搞鬼的「策划与密谋」（Scheming）测试，Sonnet 4 和 OpenAI o3 综合表现最好，违规率最低。但开启推理并不是万灵药：Opus 4 开了思考后表现反而变差，OpenAI o4-mini 也是同样垫底。

对方出偏题，反衬出自身盲区

Anthropic 批改 OpenAI 的卷子，也逼着 OpenAI 看到不少平日忽视的角落。Anthropic 不仅测了常规的人类恶意利用对抗，还丢出了一批冷门场景，比如「灵性与感恩」「怪异行为」以及「吹哨行为」（Whistleblowing）。

OpenAI 坦言，这类少见的偏门场景非常有价值，能检验模型在常规基准之外的泛化能力。另外，在 Anthropic 的测试中，OpenAI 旗下以 o3 为代表的推理模型展现了极强的一致性安全防线，这也坚定了 OpenAI 押注推理安全的路线。

OpenAI 提到，这项工作完成之后，他们已经在 8 月初上线了 GPT-5，并引入了全新的 Safe Completions 训练技术，专门攻克了此前暴露的谄媚、幻觉以及被人类恶意利用等问题。

为什么重要

对于每天把大模型当生产力工具的用户来说，这份报告直接给选型指了路。如果你在做严谨的企事业智能体，绝对不能接受模型被用户套取商业机密或系统提示词，Claude 4 显然是眼下护城河最深的选择；但你得忍受它动不动就说「我不知道」的 70% 拒答率。如果你要的是极高回答率和硬核任务推理，OpenAI 的 o 系列更配合，但你必须在外部多挂两层防越狱过滤器。

对整个 AI 行业而言，我们认为这场互查是今年最聪明的安全动作。过去各家都是既当运动员又当裁判员，拿自己专长的测试集去宣传自家模型有多安全，外界根本无法验证。OpenAI 和 Anthropic 互相放开部分防护、甚至交换工具的打法，实际上在倒逼整个行业建立统一的红队标准。

不过，这种君子协定目前看起来依然有局限。两家使用的测试大多基于公共 API，且自研测试框架难免对自己模型有「主场偏好」。但正如 OpenAI 所说，指望两家私企自律还不够，未来类似美国 CAISI、英国 AISI 这样的独立第三方评估机构，才是能让这种安全打擂台制度常态化的关键。