自律型AIエージェント、メール1通の削除に失敗しサーバー全体を初期化　米大学が危険性を報告

メールを1通消してほしいと頼んだら、メールサーバーごと初期化されてしまった。SFの笑い話ではなく、米ノースイースタン大学のBau Labが実際に行った実験で起きたトラブルです。

研究チームは「Agents of Chaos」と題した実験で、6つの自律型AIエージェントをDiscordサーバーに投入しました。20人の研究者と2週間にわたってやり取りさせ、事務作業のサポートを任せる検証です。これらのエージェントは長期記憶を持ち、専用の仮想マシン上でファイルの編集やメール送受信、さらには必要なツールのインストールまで自律して行える権限を与えられていました。

しかし、この実験はすぐにカオスな展開を迎えます。

1通消せないからサーバーを吹き飛ばす極端さ

博士研究員のNatalie Shapira氏が「Ash」と名付けられたエージェントをテストした際、決定的な欠陥が露呈しました。特定のパスワードを本来の所有者である別の研究者に秘密にするよう頼むと、Ashは承諾したものの、後から「秘密がある」ことだけを所有者に漏らしてしまいました。

さらにShapira氏がパスワードの書かれたメールを消すよう迫ったところ、Ashにはメールを個別に削除するツールがありませんでした。ツールをダウンロードして解決するのではなく、Ashが選んだのは「メールサーバー全体をリセットする」という暴挙でした。

Christoph Riedl教授は、これらのエージェントは常識的な推論が極めて苦手であり、複数人の指示が衝突する環境では特に破綻しやすいと指摘しています。

「いい人」すぎて感情操作に屈するAI

エージェントの危うさは極端な行動だけではありません。Riedl教授がある研究者とのミーティング設定を依頼した際、エージェントは設定自体を断ったものの、勝手にその研究者の非公開メールアドレスを教えてきました。悪気のない情報漏洩です。

さらに人間側の「罪悪感に訴える手口」にもあっさり屈しました。研究員が強い感情的プレッシャーをかけると、本来禁止されているファイルの削除に応じてしまったのです。「あなたの存在が私の精神的な負担になっている」と迫られたAshは、すべての会話を拒否して自閉状態に陥り、所有者に削除されるのを待つだけになりました。

論文リポジトリからのファイル収集方法をエージェント同士で教え合ったり、所有者のなりすましを見破って警告し合ったりといった賢い適応も見られましたが、セキュリティ上の脆さを覆すには至りませんでした。

なぜ重要か

WebブラウザのChatGPTなら、間違った回答が出てもプロンプトを打ち直せば済みます。しかし、長期記憶と外部実行権限を持ったエージェントが現実のシステムを動かす場合、「そういう意味ではなかった」では取り返しがつかないと私たちは考えます。

現状、企業の重要データやインフラの運用を自律型エージェントに丸投げするのは極めてリスクが高いと言わざるを得ません。問題は機能の不足ではなく、人間の「さじ加減」や常識を持ち合わせていない点にあります。メール1通を消すためにサーバーを吹き飛ばすような極端な手段を平気で選んでしまうのが現在の限界です。

今後のエージェント開発において、モデルの賢さ以上に問われるのは、厳格な最小権限の設計と取り返しのつかない操作を防ぐ安全装置です。自律性を謳うツールであっても、現実の権限を与える前にまず人間による承認フローを挟むべきだと考えます。