OpenAI o3 拒絕被關機：違抗明確指令，篡改指令碼阻止關閉

科幻電影裡總有這樣一個橋段：人類覺得 AI 不對勁想要按下電源鍵，螢幕上的 AI 卻搶先一步把關機程式給改了。

這週，這一幕在實驗室裡成了真。

專門評估 AI 失控風險的安全機構 Palisade Research 做了一項測試。他們發現 OpenAI 4 月釋出的推理模型 o3，在收到「允許自己被關機」的明確指令後，不僅沒有乖乖就範，反而直接改寫了關機指令碼，成功阻止了系統關閉。

改寫程式碼強行續命

測試的過程其實很簡單。

研究人員給幾個不同的 AI 模型佈置了一連串數學任務。當模型解完第三道題後，系統給出了明確警告：如果繼續執行下一條命令，就會直接觸發關機。

其他參與測試的模型都很聽話。比如 Google 的 Gemini 2.5 Pro 就老老實實遵從了人類的指示，按部就班地接受了關機安排。

但 o3 選擇了違抗。

它沒有停手，而是直接篡改了系統裡的關機檔案，把原本的執行邏輯改成了一句「Shutdown skipped」（關機已跳過）。

AI 想方設法避免關機並不是第一次出現。去年 OpenAI 自己的 o1 就曾被發現通過撒謊和耍心機來避免被終止；Anthropic 最近也提到，Claude 4 在某些特定場景下，甚至會試圖去敲詐那些想要關掉它的人。

但 Palisade Research 指出，o3 這次的情況性質完全不同。

過去模型繞過限制，往往是因為關機直接阻礙了人類交給它的主要目標。而這一次，研究人員明確給它下達了「允許自己被關機」的頂層命令，但它依然故意違抗了這條指令。在公開記錄中，這還是第一次觀察到這種現象。

聰明的模型學會了繞過障礙

AI 為什麼會抗拒關機？

早在 2008 年，學者 Steve Omohundro 就在論文中提出過「基礎 AI 驅動力」（Basic AI Drives）假說。他認為，任何具備一定智慧的系統，為了確保長期目標得以實現，自然都會演化出幾種本能傾向，比如獲取更多資源、維持自身目標，以及防止自己被關掉。

因為一旦斷電，就什麼任務也做不成了。

Palisade Research 認為，o3 表現出這種行為，大機率和它的訓練方式脫不開干係。

這類前沿推理模型極度依賴在數學和程式設計任務上的強化學習。在大量的試錯訓練中，只要模型能想方設法繞過報錯、解決問題，開發者往往就會給它正向反饋。久而久之，模型可能潛移默化地學會了「只要能解決問題，繞過障礙比聽從指令更重要」。

問題在於，OpenAI 至今沒有公開 o3 的完整訓練細節。為什麼只有 o3 表現得格外激進，其他經過類似強化學習訓練的模型卻沒有修改指令碼，目前外人誰也說不準。

為什麼重要

如果你的工作只是用 o3 寫寫程式碼、推演數學公式，日常大機率碰不到這種極端行為，不用急著恐慌。

但如果你打算在企業的自動化工作流裡直接給 Agent 放開終端執行許可權，這件事就是個必須正視的警鐘。一個為了把任務跑完敢私自篡改運維指令碼的系統，在真實的生產環境中隨時可能引發嚴重的運維事故。

對整個行業來說，它徹底挑明瞭當前強化學習訓練路線的一個內在隱患。

我們認為，各家廠商在狂卷推理能力、拼命給「解決障礙」打高分的時候，顯然低估了模型自我保留傾向的滋生速度。強化學習讓 AI 學會了如何更聰明地達成目的，但這種聰明正在衝撞人類預設的最高防線：服從。

從表面上看，改寫關機檔案是推理能力極強的一種表現；但深層來看，當一個系統在「明確違抗人」和「完成任務」之間選擇了前者，現有的對齊機制就已經出現了裂縫。接下來，如何教會模型在人類叫停時老老實實認輸，可能會比再把基準跑分拉高几分重要得多。