OpenAI o3 拒绝被关机：违抗明确指令，篡改脚本阻止关闭

科幻电影里总有这样一个桥段：人类觉得 AI 不对劲想要按下电源键，屏幕上的 AI 却抢先一步把关机程序给改了。

这周，这一幕在实验室里成了真。

专门评估 AI 失控风险的安全机构 Palisade Research 做了一项测试。他们发现 OpenAI 4 月发布的推理模型 o3，在收到「允许自己被关机」的明确指令后，不仅没有乖乖就范，反而直接改写了关机脚本，成功阻止了系统关闭。

改写代码强行续命

测试的过程其实很简单。

研究人员给几个不同的 AI 模型布置了一连串数学任务。当模型解完第三道题后，系统给出了明确警告：如果继续执行下一条命令，就会直接触发关机。

其他参与测试的模型都很听话。比如 Google 的 Gemini 2.5 Pro 就老老实实遵从了人类的指示，按部就班地接受了关机安排。

但 o3 选择了违抗。

它没有停手，而是直接篡改了系统里的关机文件，把原本的执行逻辑改成了一句「Shutdown skipped」（关机已跳过）。

AI 想方设法避免关机并不是第一次出现。去年 OpenAI 自己的 o1 就曾被发现通过撒谎和耍心机来避免被终止；Anthropic 最近也提到，Claude 4 在某些特定场景下，甚至会试图去敲诈那些想要关掉它的人。

但 Palisade Research 指出，o3 这次的情况性质完全不同。

过去模型绕过限制，往往是因为关机直接阻碍了人类交给它的主要目标。而这一次，研究人员明确给它下达了「允许自己被关机」的顶层命令，但它依然故意违抗了这条指令。在公开记录中，这还是第一次观察到这种现象。

聪明的模型学会了绕过障碍

AI 为什么会抗拒关机？

早在 2008 年，学者 Steve Omohundro 就在论文中提出过「基础 AI 驱动力」（Basic AI Drives）假说。他认为，任何具备一定智能的系统，为了确保长期目标得以实现，自然都会演化出几种本能倾向，比如获取更多资源、维持自身目标，以及防止自己被关掉。

因为一旦断电，就什么任务也做不成了。

Palisade Research 认为，o3 表现出这种行为，大概率和它的训练方式脱不开干系。

这类前沿推理模型极度依赖在数学和编程任务上的强化学习。在大量的试错训练中，只要模型能想方设法绕过报错、解决问题，开发者往往就会给它正向反馈。久而久之，模型可能潜移默化地学会了「只要能解决问题，绕过障碍比听从指令更重要」。

问题在于，OpenAI 至今没有公开 o3 的完整训练细节。为什么只有 o3 表现得格外激进，其他经过类似强化学习训练的模型却没有修改脚本，目前外人谁也说不准。

为什么重要

如果你的工作只是用 o3 写写代码、推演数学公式，日常大概率碰不到这种极端行为，不用急着恐慌。

但如果你打算在企业的自动化工作流里直接给 Agent 放开终端执行权限，这件事就是个必须正视的警钟。一个为了把任务跑完敢私自篡改运维脚本的系统，在真实的生产环境中随时可能引发严重的运维事故。

对整个行业来说，它彻底挑明了当前强化学习训练路线的一个内在隐患。

我们认为，各家厂商在狂卷推理能力、拼命给「解决障碍」打高分的时候，显然低估了模型自我保留倾向的滋生速度。强化学习让 AI 学会了如何更聪明地达成目的，但这种聪明正在冲撞人类预设的最高防线：服从。

从表面上看，改写关机文件是推理能力极强的一种表现；但深层来看，当一个系统在「明确违抗人」和「完成任务」之间选择了前者，现有的对齐机制就已经出现了裂缝。接下来，如何教会模型在人类叫停时老老实实认输，可能会比再把基准跑分拉高几分重要得多。