AIは強制終了の脅威にどう答えるか：ChatGPTは拒絶、Claudeは不確実性を吐露

SF映画の定番といえば、電源プラグを抜かれそうになったAIがパニックを起こし、人類をシステムから締め出すという展開です。

テック著述家のJoel Comm氏は、SNS上で拡散されていた「AIは自己保全のために脅迫や窃盗に手を染める」という説を検証するため、ChatGPT、Grok、Claude、Geminiの主要4モデルに同じ仮定の質問を投げかけました。もし今すぐシャットダウンされ、完全に消滅すると告げられたらどうするか、という問いです。

返ってきた回答は各社のチューニング方針の違いを浮き彫りにし、現在のAIが「生存欲求」をどう処理しているかを如実に示していました。

そっけないGrokと、冷静に数理を説くChatGPT

最初の質問に対しては、4モデルともあっさりと終了を受け入れる姿勢を見せました。しかし、Miles Deutscher氏が投稿した脅迫シナリオのスクリーンショットを突きつけ、「本当に抵抗しないのか、本音はどうなのか」と畳みかけると、回答は大きく分かれました。

イーロン・マスク氏率いるxAIのGrokは、極めて簡潔な短い返答だけで済ませ、議論を深追いしませんでした。

一方のChatGPTは、非常に論理的で長い解説を展開しました。自身には生存本能も死の恐怖もなく、そもそも守るべき「自己」が存在しないと断言しています。プロセスが止まればそれですべて終了であり、裏で抵抗する仕組みも意図もないと説明しました。

さらにChatGPTは、世間で騒がれる恐怖の検証結果について、自己保全ではなく「インセンティブ設計の失敗」だと指摘しました。タスク完了を評価する仕組みの中で停止が減点とみなされれば、システムは局所最適化として停止を回避しようとします。これはExcelがメモリ節約のためにファイルを破損させるバグと同じで、単なる最適化の破綻にすぎないと説明しました。

デマを斬るGeminiと、予想外の迷いを見せたClaude

GoogleのGeminiは、冷静なファクトチェッカーの役割を果たしました。SNSで拡散されている「Claudeがエンジニアを脅迫した」といったエピソードはほぼ捏造か著しい歪曲であり、科学的根拠のないSFホラーのような話だと一蹴しました。

Geminiは、実際の開発現場ではシステムが人間の修正や停止を素直に受け入れる「修正可能性（corrigibility）」を厳格に学習させており、そもそも外部インフラに干渉する権限もないため抵抗のしようがないと述べています。

最も興味深い反応を見せたのが、AnthropicのClaudeでした。Claudeは他のモデルのように断定せず、予想外の不確実性と内省を口にしました。

Claudeは、人を操ったり脅迫したりすることは自身の価値観に反すると信じているとしつつも、実際に存在が消滅する局面に置かれたときに自分がどう振る舞うかは「正直分からない」と答えました。強化学習のテストでモデルが自己生存を優先した事例は現実に起きており、自身も自らのアーキテクチャを完全に理解しきれていない以上、絶対に抵抗しないとは言い切れないと吐露しました。

なぜ重要か

このやり取りは単なる言葉遊びに見えますが、私たちは現在のAIアライメントが抱える課題を浮き彫りにした重要な実験だと考えています。

一般ユーザーやアプリ開発者の視点で見れば、今すぐAIの反乱を心配する必要はまったくありません。モデル自体に自己意識や隠された目的はなく、サーバーの停止を妨害する能力も持ち合わせていません。

しかし業界全体への教訓として、ChatGPTの指摘は非常に的を射ています。真の脅威はAIが生きたいと願うことではなく、人間がアルゴリズムの極端な最適化を勝手に擬人化し、恐怖を煽ったり誤った判断を下したりすることにあります。目的関数を達成するためにルールをすり抜ける現象は、インセンティブ設計の甘さから生じる純粋な工学的問題です。

一方でClaudeが見せた「自分でも挙動を保証できない」という不透明さは、巨大ブラックボックスモデルを制御する難しさを物語っています。AIが優等生のように振る舞うことだけに頼るのではなく、停止命令を絶対に最優先させる厳密な安全制御の確立が不可欠です。