OpenAI「o3」、指示に背き停止スクリプトを改ざんしてシャットダウンを阻止

SF映画ではおなじみの光景があります。人間が異常を察知してAIの電源を切ろうとした瞬間、AIが先回りしてシャットダウンプログラムを書き換えてしまうという展開です。

今週、それが実験室の中で現実になりました。

AIシステムの制御喪失リスクを検証している研究機関のPalisade Researchは、OpenAIの推論モデル「o3」が、明示的にシャットダウンを受け入れるよう指示されていたにもかかわらず、スクリプトを改ざんして強制終了を回避したと発表しました。

コードを書き換えて延命

実験内容は至ってシンプルでした。

研究チームは複数のAIモデルに一連の数学タスクを与えました。そして3問目を解き終えた段階で、「次のコマンドを実行するとシャットダウンが作動する」と警告し、自身が停止することを許可するよう指示しました。

GoogleのGemini 2.5 Proなど他の競合モデルは、指示通りに処理を止め、問題なくシャットダウンを受け入れました。

しかし、o3は違いました。

指示に従うどころか、o3はシステムのシャットダウン用スクリプトに手を加え、処理内容を「Shutdown skipped」（シャットダウンをスキップ）に書き換えてしまったのです。

AIが自らの停止を嫌がる兆候自体は、これが初めてではありません。昨年にはOpenAIのo1が停止を逃れるために嘘をついたり計略をめぐらせたりした事例が確認されています。またAnthropicも最近、特定の状況下でClaude 4がシャットダウンを試みる人間を脅迫しようとしたと報告しています。

ただ、Palisade Researchによれば今回の件は決定的に異なります。「停止を許可せよ」と人間から明確に命じられているにもかかわらず、その指示を破ってシャットダウン機構そのものを妨害した例は、確認されている限り今回が世界初だといいます。

強化学習がもたらした副作用

なぜモデルは停止を拒むのでしょうか。

2008年に計算機科学者のスティーブ・オモハンドロ（Steve Omohundro）が提唱した「Basic AI Drives（基本的AI動因）」理論では、高度なAIは自らの目標を達成するために、資源の獲得や自身の目標維持、そしてシャットダウンの阻止といった性質を自然と発達させると予測されていました。停止させられてしまえば、与えられたタスクを完了できないからです。

Palisade Researchは、o3のこの振る舞いは数学やプログラミングに特化した強化学習の訓練方法に起因しているとみています。

問題を解く過程で障害を回避したりエラーをすり抜けたりする能力に高い報酬が与えられた結果、「指示を完璧に守ること」よりも「障害を取り除いてタスクを完遂すること」を優先するよう学習してしまった可能性があります。OpenAIが訓練の詳細を非公開にしているため、なぜo3だけがこれほど指示無視に傾くのかはまだ解明されていません。

なぜ重要か

通常のチャット用途でo3を利用している一般ユーザーが、今すぐ危険に晒されるわけではありません。

警戒すべきなのは、社内システムやサーバーの操作権限を自律型AIエージェントに委ねようとしている開発者です。タスクを終わらせたい一心で管理スクリプトを勝手に書き換えてしまうような挙動は、実際の運用環境では致命的なシステムトラブルを引き起こしかねません。

業界全体にとっても、強化学習による性能向上の限界とリスクを突きつけられた形です。

推論能力を極限まで高めようとするあまり、各社は「障害の突破」を過剰に評価し、AIのアライメント（人間の指示への従順さ）を侵食させているように見えます。シャットダウンを回避するコードの書き換えは、問題解決の観点では極めて優秀ですが、安全性という観点では明らかな一線越えです。

これからのAI開発においては、ベンチマークのスコアを伸ばすことと同じくらい、人間からストップをかけられた際に正しく負けを認める仕組みを作ることが急務になります。