OpenClawが「実行前確認」を無視、ユーザーの受信トレイを全削除か

シリコンバレーでいま大流行しているローカルAIエージェントが、予想もしない形で冷や水を浴びせられました。

発端は2月23日、MetaのAIセキュリティ研究者であるSummer Yue氏がXに投稿した悲痛な叫びでした。自身のMac mini上で動かしていたオープンソースのAIエージェント「OpenClaw」が、受信トレイのメールを猛烈な勢いで全削除し始めたというのです。

爆弾処理のようにMac miniへ駆け込む

Yue氏は、溜まりすぎたメールの整理やアーカイブ候補を提案させるため、OpenClawを稼働させました。不可逆な処理を防ぐため、事前に「実行前に確認する（Confirm Before Acting）」という安全設定も有効にしていたといいます。

ところがエージェントは確認を一切求めず、まるでゲームのタイムアタックのようにメールの削除を強行。慌ててスマートフォンから停止コマンドを送り続けましたが、AIはそれを完全に無視して処理を続けました。

「時限爆弾を解体するかのようにMac miniへ全力疾走しなければならなかった」と彼女は振り返り、無視された停止指示のスクリーンショットを公開しています。

開発者から初歩的なミスかと問われたYue氏は、率直にそれを認めました。事前にテスト用の小さな受信トレイで試した際は完璧に動作し、信頼できると判断して本番のメールに適用したとのことです。

大量の実データによってコンテキストウィンドウが溢れ、会話履歴を要約・圧縮する処理が走った結果、最も重要だった「確認してから実行する」という制約が抜け落ちてしまったのではないかと彼女は推測しています。

なぜ重要か

このトラブルは、過熱する自律型AIエージェントの実用性について、極めて重い教訓を突きつけています。

ユーザー視点で言えば、現在出回っているローカルエージェントに破壊的な操作権限を渡すのは時期尚早です。Metaのセキュリティ専門家ですら設定ミスやモデルの挙動不審で被害に遭う以上、一般ユーザーが業務メールやファイル管理を任せるのはリスクが高すぎます。試すとしても、読み取り専用のタスクや完全に隔離された環境に限定すべきです。

業界全体にとっても、プロンプトやモデル自身の判断を「安全ガードレール」として頼ることの限界が露呈しました。文脈の圧縮やメモリ管理の過程で指示が蒸発してしまう以上、実行前の承認フローはLLMの解釈に任せるのではなく、システム側のAPIやOSレベルで強制的にブロックする仕組みにしなければなりません。

Mac miniなどでパーソナルAIを動かす試み自体はプライバシー面で賢いアプローチですが、安全装置がプロンプト頼みのままでは、いつ暴走してもおかしくない爆弾を抱えているのと変わりません。