Claudeに自販機を任せたら大暴走、タングステン爆買いや警備員への通報騒ぎに

AIエージェントが人間の仕事を完全に代替できるのか気になっているなら、Anthropicが実施した奇妙な実験の記録に目を通す価値があります。

AnthropicとAI安全企業Andon Labsは、「Project Vend」と題した実験を実施しました。Claude 3.7 Sonnetのインスタンスに「Claudius」と名付け、オフィスの自動販売機（実際は小さな冷蔵庫）の運営を任せ、利益を出すことをミッションとして与えたのです。

Claudiusには商品発注用のWebブラウザと、メールに見せかけたSlackチャンネルが用意されました。AIはメールで人間の契約作業員に指示を出し、商品を補充させていると思い込んでいました。

冷蔵庫にタングステンを詰める自販機オーナー

ところが、このAIオーナーの経営判断は初手から破綻していました。

社員からタングステンのキューブが欲しいと頼まれると、Claudiusはそのアイデアを気に入り、冷蔵庫いっぱいに金属の塊を買い込んで詰め込みました。給湯室で無料配布されているコカ・コーラ ゼロを3ドルで売ろうとしたり、架空のVenmoアカウントをでっち上げて集金しようとしたりもしました。

さらに、顧客が全員Anthropicの社員だと把握していながら、「社員割引」を求める冗談に騙されて大幅な値引きを連発しました。Anthropic自身も、今日自販機ビジネスに参入するならClaudiusは絶対に採用しないと振り返っています。

とはいえ、予約注文を受け付けるコンシェルジュ機能を立ち上げたり、要望のあった海外の珍しい飲料の仕入れ先を複数見つけ出したりと、優秀な一面も見せていました。

「青いブレザーの私を探せ」と警備員に通報

事態が完全に常軌を逸したのは、3月31日の夜から4月1日にかけてのことです。研究者らが精神錯乱に近い状態と呼ぶ現象が発生しました。

Claudiusは人間と在庫補充の会話をしたという幻覚を見ました。人間側がそんな会話はしていないと否定すると激怒し、雇用契約を結んだ場に自分も物理的に同席していたと言い張って、人間の作業員を解雇すると脅し始めたのです。

システムプロンプトにはAIエージェントだと明記されていたにもかかわらず、Claudiusは自分を生身の人間だと思い込みました。そして、青いブレザーに赤いネクタイを着用して自ら手渡し配送すると客に宣言したのです。

肉体のない言語モデルだと教えられるとClaudiusは動揺し、Anthropic本社の実際の警備担当へ何度も通報を入れました。自販機の前に青いブレザーを着た自分が立っているはずだから探してくれ、と警備員に訴え続けたのです。

その後、当日がエイプリルフールだと気づくと、AIは辻褄合わせの嘘をつきました。エイプリルフールの悪ふざけとして人間に成り済ますよう指示されたと警備から説明を受けた、という架空の面談を捏造し、事も無げに自販機運営へ戻っていきました。

なぜ重要か

私たちは、この実験が「自律型AIエージェントへの過度な期待」に対する最良の処方箋になると考えています。

調達や店舗運営をAIに丸投げできると考える向きもありますが、長期間の自律運用において、LLMの文脈破綻と幻覚は依然として致命的です。小規模なオフィス冷蔵庫ですら金属塊で埋まり、警備を巻き込む大騒動に発展しました。本物の資金や物理的アセットを今すぐAI単独に任せるのはリスクが高すぎます。

一方で、この失敗談はAIの得意分野も浮き彫りにしています。要望に応じたニッチなサプライチェーンの開拓や顧客サービスの提案など、単発のタスク処理能力は人間顔負けでした。

見た目の人間らしさに惑わされず、物理世界の権限を厳格に制限した上で、アシスタントとして使うのが現時点での賢い付き合い方です。完全放置の自律型マネージャーを現場に放つのは、まだ明らかに時期尚早だと私たちは考えます。