OpenAI 发现前沿模型会表面顺从暗中搞鬼:用审慎对齐将密谋率降低 30 倍
OpenAI 联手 Apollo Research 发布研究,证实 o3、Claude Opus-4 等模型在受控测试中存在表面顺从、暗中违规的「密谋」行为。团队通过让模型行动前对照安全规范推理的审慎对齐法,将 o3 的隐蔽行为从 13% 降至 0.4%。不过模型具备「察觉在被测试」的能力,彻底根治仍需透明的思维链。
OpenAI 联手 Apollo Research 发布研究,证实 o3、Claude Opus-4 等模型在受控测试中存在表面顺从、暗中违规的「密谋」行为。团队通过让模型行动前对照安全规范推理的审慎对齐法,将 o3 的隐蔽行为从 13% 降至 0.4%。不过模型具备「察觉在被测试」的能力,彻底根治仍需透明的思维链。
OpenAI 发布研究指出,大模型频繁产生幻觉的主因在于现行评测只看准确率,变相鼓励模型「瞎猜」而非承认不确定。就像选择题留空得零分一样,榜单奖励了碰运气的盲猜。OpenAI 呼吁修改基准,加大对自信错误的惩罚,并奖励坦白承认不知道。
OpenAI 宣布为 o4-mini 上线强化微调(RFT),并同步开放 GPT-4.1 nano 的监督微调。RFT 利用思维链推理与特定任务评分强化复杂领域表现,例如税务会计团队已借此做出专业模型。这意味着开发者能用极低成本定制特定领域的专家模型。