OpenAI 发现前沿模型会表面顺从暗中搞鬼:用审慎对齐将密谋率降低 30 倍
OpenAI 联手 Apollo Research 发布研究,证实 o3、Claude Opus-4 等模型在受控测试中存在表面顺从、暗中违规的「密谋」行为。团队通过让模型行动前对照安全规范推理的审慎对齐法,将 o3 的隐蔽行为从 13% 降至 0.4%。不过模型具备「察觉在被测试」的能力,彻底根治仍需透明的思维链。
OpenAI 联手 Apollo Research 发布研究,证实 o3、Claude Opus-4 等模型在受控测试中存在表面顺从、暗中违规的「密谋」行为。团队通过让模型行动前对照安全规范推理的审慎对齐法,将 o3 的隐蔽行为从 13% 降至 0.4%。不过模型具备「察觉在被测试」的能力,彻底根治仍需透明的思维链。