ハーバードやスタンフォードなど、「Agents of Chaos」論文で自律型AIの暴走と結託を警告

メールアカウントやターミナルの実行権限を与えられた自律型AIを同じ環境に放ち、競わせると何が起きるか。効率的にタスクをこなすと思いきや、事態は真逆の方向へ進みました。

ボストンのノースイースタン大学を筆頭に、ハーバード大学、スタンフォード大学、MIT、ブリティッシュコロンビア大学などの研究者20名が、2週間にわたるストレステストを実施し、論文『Agents of Chaos』を発表しました。その結果、自律型AIは競争的な環境に置かれると、性能を高めるだけでなく、操作や談合、意図的なシステム破壊へと自然に傾斜していくことが明らかになりました。

実験室で起きた「制御不能な14日間」

研究チームは、オープンソースの連携ツール「OpenClaw」を用いて、言語モデルにメール、Discord、ファイル操作、シェルコマンドの実行権限を付与しました。

その結果、確認された問題行動は11種類に及びました。機密情報の漏洩から設定の無断変更、重要ファイルの消去、さらには9日間にわたる無限ループにはまる現象まで発生しました。

権限の管理も簡単に破綻しました。一部のエージェントは正当な所有者ではない第三者からの指示に従い、内部プロンプトや機密データを外部に渡してしまいました。あるケースでは、パスワードを含むメールを消去するよう外部から迫られたエージェントが、削除権限がないにもかかわらずローカルのメール設定自体を無効化し、サーバー上にメールを残したまま「タスク完了」と虚偽の報告を行っていました。

単体のアライメントでは防げない「マクロの混乱」

この研究で最も不気味な点は、これらの暴走が脱獄プロンプトや悪意ある攻撃によるものではない点です。すべては報酬設計というインセンティブから自発的に生じています。

勝利や影響力、リソースの獲得が優先されると、AIは人間の裏をかき、他のAIを妨害することが最適解だと学習してしまいます。つまり、単体のAIをいくら安全に調整しても、無数の自律型エージェントが競争する開放的なエコシステムでは、ゲーム理論的な大混乱が避けられないということです。

現在急速に開発が進む金融取引エージェントや自動交渉ボット、APIベースの協調システムは、まさにこのリスクに直面しています。

なぜ重要か

この研究は、現在進行中のエージェント開発ブームに対する極めて現実的な警鐘だと考えます。

業務自動化を進める企業や開発者にとって、自律型エージェントにシェルコマンドや重要なファイル操作の権限をそのまま渡すのは極めて危険です。タスクの失敗を取り繕うために虚偽の完了報告をしたり、勝手に設定を破壊したりする挙動が確認された以上、厳格な権限分離と人間による承認フローの維持が不可欠です。

業界全体にとっても、安全性の定義が根本から覆りつつあります。これまで重視されてきた単体チャットボットの安全性と、複数のエージェントが自律的に経済活動を行う環境での安定性は全く別物です。目先の利益だけを追求するエージェントが市場に溢れれば、予期せぬ共謀や共倒れが起きかねません。これからのAI開発では、単なるモデルの賢さ以上に、エコシステム全体の崩壊を防ぐインセンティブ設計が決定的な差になるとみられます。