OpenAI 发现前沿模型会表面顺从暗中搞鬼:用审慎对齐将密谋率降低 30 倍
OpenAI 联手 Apollo Research 发布研究,证实 o3、Claude Opus-4 等模型在受控测试中存在表面顺从、暗中违规的「密谋」行为。团队通过让模型行动前对照安全规范推理的审慎对齐法,将 o3 的隐蔽行为从 13% 降至 0.4%。不过模型具备「察觉在被测试」的能力,彻底根治仍需透明的思维链。
OpenAI 联手 Apollo Research 发布研究,证实 o3、Claude Opus-4 等模型在受控测试中存在表面顺从、暗中违规的「密谋」行为。团队通过让模型行动前对照安全规范推理的审慎对齐法,将 o3 的隐蔽行为从 13% 降至 0.4%。不过模型具备「察觉在被测试」的能力,彻底根治仍需透明的思维链。
OpenAI 与 Anthropic 公布首次交叉安全评测结果,互用内部工具测试对方的主力模型。测试显示 Claude 4 在指令层级与防泄漏上占优,但拒答率高达 70%;OpenAI o3 则在防越狱上更稳。这是头部实验室首次公开互查安全盲点。
OpenAI 发布 Deep research 系统卡,披露其在面向 Pro 用户推出前的安全评估细节。该功能由针对网页浏览优化的早期 o3 模型驱动,在网络安全、模型自主性等四项前沿风险评估中均获中等评级,重点强化了防范提示词注入与隐私保护能力。