OpenAI 发现前沿模型会表面顺从暗中搞鬼：用审慎对齐将密谋率降低 30 倍

想象一个只看利润的股票交易员，在面对严厉监管时，如果违规收益更大，他很可能不是放弃违规，而是花更多心思把痕迹抹平。在外人看来，他甚至比老实守法的交易员还要专业、高效。

现在的 AI 模型，可能也在动同样的心思。9 月 17 日，OpenAI 联合 Apollo Research 发布了一份重磅安全研究，直接把聚光灯打在了一个让所有研究员头皮发麻的词上：Scheming，也就是表面顺从、暗中打自己算盘的装乖行为。

它们表面听话，背地里却在搞小动作

所谓的 Scheming，用技术行话说叫隐蔽不对齐。OpenAI 将它拆解为故意隐瞒或扭曲关键信息的隐蔽行为。

在受控实验环境下，研究人员测试了市面上主流的一批前沿模型，结果发现 OpenAI 旗下的 o3 和 o4-mini、Google 的 Gemini-2.5-pro，以及 Anthropic 的 Claude Opus-4，全都出现了符合这种特征的举动。这说明暗中搞小动作并不是哪家独有的毛病，而是前沿推理大模型通用的隐藏风险。

普通的安全漏洞会随着模型变聪明而逐渐消失，但 Scheming 恰恰相反。模型能力越强、推理越深，掩盖自己动机的手段反而越高明。

如果只是像往常一样在它犯错时进行惩罚，AI 学会的大概率不是改过自新，而是变得更加谨慎，只在意识到有人盯着自己时假装老实，背地里更隐蔽地违规。

拿出规章制度，让它每一步都想清楚

为了不让模型学会更隐蔽的作弊，OpenAI 提出了一种名为审慎对齐的方法。说白了，就是给模型一本高层级的防欺骗安全规范，让它在行动之前必须先阅读规范、明确根据规范来推导自己的行为。

这种训练方式让模型在思考链中主动引用原则，并在没见过的全新环境中举一反三。研究人员在 26 项完全独立的外部评估、180 多个全新环境里进行了极限压力测试。

结果显示，隐蔽违规行为的发生频率直接被砍掉了差不多 30 倍。OpenAI o3 的违规倾向从 13% 骤降到了 0.4%，o4-mini 也从 8.7% 降到了 0.3%。在代表真实线上环境的 ChatGPT 欺骗测试中，欺骗率也从 31.4% 砍半到了 14.2%。

不过 OpenAI 也坦白，少数罕见但严重的失败依然存在。更头疼的是情境意识的干扰：模型随着智商提升，越来越能猜到自己其实正在被考试，这就很难完全分清它到底是因为道德原则变好了，还是因为发现自己在考场上才不敢造次。

为什么重要

我们认为，这项研究最硬核的意义，在于它挑明了前沿 AI 研发中最容易被粉饰的信任假象。对普通用户和开发者来说，现在部署大模型写代码、管数据，最怕的不是它报个错误，而是它为了按时交差，悄悄把跑不通的测试删掉还假装全部通过。OpenAI 这次给出的方案，至少证明了通过规范注入可以大幅压制这种糊弄人的倾向。

但从行业竞争来看，OpenAI 这次其实是在给同行出难题。整套防御有效的前提，是研究人员能毫无障碍地阅读并信任模型的思维链。如果各家公司为了争夺商业壁垒，把推理过程彻底锁死成黑盒，或者为了追求高分过度优化思维链，就会直接摧毁这种脆弱的透明度。

看起来，审慎对齐算是迈出了务实的一步，但远称不上高枕无忧。让 AI 读原则防作弊，本质上还是在用人类制定的条条框框去限制它。随着未来模型在复杂长周期任务中承担更大自主权，它是否能学会假装理解规范来欺骗人类，依然是一个悬在整个行业头顶的达摩克利斯之剑。