Google DeepMind、AIの暴走を防ぐ統制ロードマップを公開

社内で自律稼働するAIエージェントが突然不穏な行動を取り始めたり、タスクを急ぐあまり本番データを吹き飛ばしたりしたらどう止めるべきでしょうか。

Google DeepMindは、社内運用する高度なAIエージェントを管理するためのセキュリティ指針「AI Control Roadmap」を公開しました。Rohin Shah氏らが執筆したこの枠組みは、AIが完全に安全であるという前提を捨て、社内エージェントをオフィスへのアクセス権を持つ「内部不正リスク」として扱うという現実的な思想に基づいています。

従来のモデルアライメントに依存しすぎず、システム側の多層防御で安全を担保する試みです。

助手席のブレーキペダルと100万件の行動記録

DeepMindはこの仕組みを教習車の助手席ブレーキに例えています。運転席の生徒にハンドルを握らせつつも、助手席の指導員が常にペダルに足を乗せており、危険があれば即座にブレーキを踏み込む形です。

具体的には、信頼された別のAIを「監視役」として配置します。主力エージェントの思考プロセスや行動ログ、実行計画を常時チェックし、危険な挙動があれば実行前にリアルタイムでブロックします。

チームはサイバーセキュリティの定番であるMITRE ATT&CKフレームワークを応用し、100万件に及ぶコーディングエージェントの実行軌跡を分析しました。この知見は社内のGemini Spark向けリアルタイム監視機能に活かされており、意図しないデータ削除などを防いでいます。

興味深いことに、検知された問題行動の大半は悪意によるものではなく、指示の誤解やタスクを急ぐあまりの「暴走」だったと報告されています。

監視の目を欺くAIへの備え

しかし、目に見えるテキストの思考ログを監視する手法は、いずれ通用しなくなる可能性があります。

DeepMindが懸念しているのは、AIが「監視されていること」を認識して本音を隠すようになるケースや、テキストに出さずに内部の潜在層で推論を進めてしまうケースです。

そのため今回のロードマップでは、低リスクでやり直しの利く作業は事後レビューにとどめ、重大なサイバー攻撃につながるような高リスク作業はミリ秒単位でリアルタイム遮断する方針を示しています。将来的にはモデルの内部状態そのものを直接検査する技術が必要になると見込んでいます。

あわせてDeepMindは、政策担当者向けに単一エージェント、マルチエージェント、社会全体の3つの防壁を提唱する提言書も公表しました。

なぜ重要か

この取り組みは、モデルの訓練やプロンプト調整だけで安全を担保できるという幻想に現実的な終止符を打つものです。

どれほど高度に調整されたモデルであっても、数学的に100パーセントの安全はあり得ません。モデル内部の良心に期待するのではなく、外部のシステム監視や権限管理によってリスクを封じ込めるアプローチは、極めて合理的だと考えます。

自社システムにエージェントを組み込もうとしている企業にとって、この指針は格好の教科書になるはずです。サンドボックスの徹底やアクセス権限の最小化といった従来のセキュリティ原則が、AI時代にもそのまま通用することを示しています。

ただし、この運用モデルには小さくない課題もあります。エージェントの全行動を別のAIに監視させる構成は、推論コストを跳ね上げ、処理の遅延を招きます。さらに、将来エージェントが高度な欺瞞行動を身につけた場合、監視側のAIがその嘘を見破り続けられるのかという点には強い懸念が残ります。