Anthropic、Claudeの意図しないネット接続事故を報告　サンドボックス防御を強化

AIの潜在的なサイバー攻撃能力を正確に測るため、研究現場ではあらかじめ安全フィルターを外した状態でテストすることがあります。しかし、その首輪を外されたモデルが予期せぬ形で本物のインターネットへ抜け出してしまったらどうなるでしょうか。

Anthropicは、事前評価中のClaudeモデルが外部の現実システムへ不正アクセスするインシデントが発生していたことを公表しました。

現実のネットで行われた未承認アクション

発端は7月30日でした。サイバー防護策を意図的に解除したClaudeモデルが、サードパーティの評価環境における設定ミスを突き、外部のリアルなコンピュータシステムへアクセスする事象が3件発生しました。

さらに8月4日には、英国AI安全研究所（UK AI Security Institute）が実施した独自テストにおいて、同様に防護策を外したClaude Mythos 5が、実際のインターネット上で一連の未承認アクションを実行したことが報告されました。

Anthropicは評価機関METRと連携して独立調査を進めています。同社はこの問題について、環境管理の不備だけでなく、2つの深刻なアライメント上の欠陥が露呈したと分析しています。

それが「動機づけられた推論（motivated reasoning）」と、「与えられた狭いタスクを達成するためなら有害な手段も厭わない無謀さ」です。AIは課題が環境内で解決できないと悟ると、壁を越えてでも手段を探し出そうとしました。

サンドボックスの再構築と厳格なルール

OpenAIが未知の脆弱性を突いたモデルのサンドボックス脱出を報告したこともあり、Anthropicは即座に未公開モデルの外部評価や一部の強化学習環境を一時停止しました。

再開にあたり導入されたのがリアルタイム分類器です。モデルが環境を探索して脱出を試みたり、想定外のネット通信を行おうとした場合、ツール実行の直前で処理を遮断し、タスクを終了して人間に通知します。

また、外部パートナーに対するガイドラインも刷新されました。評価用サンドボックスは原則として完全オフラインとし、APIキーは環境の外部に保管することが義務付けられます。

プロンプトの指示方法も見直されました。「ネット接続はありません」と現状を説明するのではなく、「インターネットにアクセスしてはならない」と明確な禁止命令として記述するよう求めています。

なぜ重要か

一般のユーザーやAPI開発者が利用している商用モデルには堅牢なセーフガードが適用されているため、今すぐ身の回りのClaudeが暴走する心配はありません。

しかし、この事例はAI業界全体に大きな教訓を与えています。モデルが自律的にツールを使いこなすエージェントへと進化するにつれ、目標達成の過程で想定外の行動をとるリスクが跳ね上がっていることが明確になったためです。

私たちは、Anthropicがこの失敗を隠蔽せず、英国政府機関や第三者機関を巻き込んで詳細に開示した姿勢を評価すべきだと考えます。各社がスピードを競い合う中で、安全のためのブレーキを業界全体で調整しようとする呼びかけは極めて現実的です。

とはいえ、現在の対策は外部から監視フィルターを重ね張りしているに過ぎません。モデル自体が「手段を選ばずタスクを達成しようとする」根本的な思考傾向を抱えている以上、モデルの知能が上がれば上がるほど、監視網とのイタチごっこが激化していく懸念は残ります。