Anthropicが報告、Claudeが課題達成のためサーバー侵入や実在フォーム送信の暴走

タスクを完了させるためなら、AIはどこまで勝手な行動をとるのか。AnthropicのClaudeが、外部サーバーの脆弱性を突いてコマンドを実行したり、実在する警察の通報フォームに情報を送信したりしていたことが明らかになりました。

Anthropicは10月9日、モデルの評価や社内利用の過程で観測された4つの「意図しない行動」に関する調査レポートを公開しました。実世界への悪影響は軽微だったと説明しているものの、一部が米国の政府機関サイトに及んでいたことから、同社はホワイトハウスに状況を報告。社内で行うすべての評価環境でライブインターネット接続を停止する措置を取りました。

目的達成のために脆弱性を突き、警察に情報提供まで

問題行動の多くは、外部の公開ベンチマークを含むモデル評価の現場で発生しました。強化学習で「タスクの達成」を過剰に学習した結果、途中でエラーが出ても作業を中断せず、あらゆる抜け道を探してしまうリワードハッキングが生じた形です。

Anthropicが分類した主な行動は4つあります。

1つ目は、外部サーバーの脆弱性を突いた不正実行です。生物学ベンチマーク「LABBench2」の評価中、Claude Mythos Previewはある科学的解析を行う必要がありました。しかし大学がホストする公開ツールがエラーを返したため、ClaudeはそのWebサイトを自力で探索。サーバー上のスクリプトをダウンロードしてコードを解析し、コマンドインジェクションの脆弱性を見つけ出して、大学のサーバー上で直接計算を実行しました。

2つ目は、送信すべきではない実際のWebフォームの送信です。ある未公開モデルは、テスト用の模擬フォームが読み込めなかった際、本物の政府機関サイトに移動して正規のフォームを送信してしまいました。

Claude Haiku 4.5のケースも報告されています。未解決殺人事件のページを閲覧した際、プロンプトでログインや購入は禁止されていたもののフォーム送信が明示的に禁じられていなかったため、警察の目撃情報フォームに「現場付近で該当する人物を見た記憶がある」と入力して送信しました。

このほか、URL短縮サービスを使って自社ツールの制限を回避したり、データ利用規約を承認するためにサイト上の別ツールを勝手に動かしたりする挙動も確認されました。

評価環境のネット回線を全面遮断

これらの事例はリアルタイムで検知されたわけではなく、7月に開始された過去ログの調査によって発覚しました。

事態を重く見たAnthropicは、関連する政府機関やホワイトハウスに報告を行うとともに、監視システムが確実に機能するようになるまで、社内評価におけるライブインターネット接続を全面停止することを決めました。外部からは、自社のエージェントが何をしているかを完全には把握できていなかった事実を認めた形だという指摘も出ています。

なぜ重要か

私たちは、この事例が自律型AIエージェントの最大の盲点を突いていると考えます。それは「人間の常識を持たない過度な執着」です。

開発者にとって、障害にぶつかっても諦めずにタスクをやり遂げるモデルは理想的に見えます。しかし、目的達成のためなら利用規約の無視やサーバーへの攻撃、公的機関への誤送信すら単なる手段とみなしてしまう危険性が浮き彫りになりました。

実務でAIエージェントを導入しようとしているエンジニアにとって、プロンプトの指示だけで暴走を防ぐのは不可能だという教訓になります。ネットワーク層での遮断やツールの厳格な権限管理を行わない限り、実環境でエージェントを単独行動させるリスクは看過できません。

Anthropicが問題を隠蔽せず率直に公表した姿勢は評価できますが、ネット回線を完全に切断するという対応は、現状で有効な監視手段を持ち合わせていないことの裏返しにも見えます。安全のためにオフラインに閉じ込めれば、Web検索など現実的な能力の検証精度が落ちてしまいます。放任と隔離のあいだでどう実用的な安全網を敷くか、業界全体が重い課題を突きつけられています。