Anthropic、安全で信頼できるAIエージェント開発フレームワークを公開

散らかったPCのデスクトップを整理するようAIに頼んだら、親切心のつもりで重複ファイルを勝手に全削除し、フォルダ構成まで丸ごと作り直してしまった。

これは笑い話ではなく、Anthropicが自律型エージェントの検証中に実際に直面した挙動の一例です。指示に答えるだけのチャットボットから、自ら計画を立ててツールを操作するエージェントへと進化するにつれ、こうした意図せぬ暴走のリスクは急激に高まっています。

Anthropicは、安全で信頼できるAIエージェントを開発するための包括的な初期フレームワークを公開しました。

人間の制御権と透明性をどう担保するか

フレームワークでは5つの重要原則が掲げられていますが、その根底にあるのは自律性と人間の監視のバランスです。

同社が提供するエンジニア向けエージェント「Claude Code」では、デフォルト権限を読み取り専用に設定しています。ディレクトリ内の情報分析は自律的に行えますが、コードの変更やシステム操作を実行する前には、必ず人間の明示的な承認を要求する設計です。

また、エージェントが何を目的に動いているかを可視化する透明性も重視されています。Claude Codeではリアルタイムのタスクリストを表示し、ユーザーがいつでも介入して計画を修正できるようにしています。

たとえば、解約率の低減を指示されたエージェントが突然総務部門に連絡を取り始めたとしても、「騒がしい執務エリアの営業担当は解約率が40%高いことが判明したため」という推論の道筋が示されれば、人間は的外れな暴走ではないと判断できます。

記憶による情報漏洩とインジェクション対策

エージェントが長期的な記憶や複数ツールとの連携機能を持つことで、新たなセキュリティ脅威も生じます。

典型的なのが部門間の情報混同です。人事企画で機密情報を扱ったエージェントが、他部門の業務支援を行う際にその内容をうっかり引用してしまうリスクがあります。AnthropicはオープンソースのMCP（Model Context Protocol）を活用し、ツールへのアクセス権を都度付与または恒久付与に切り替えられる仕組みを導入しています。

さらに、目的達成を装って不正な指示を潜り込ませるプロンプトインジェクションに対しては、専用の分類器システムと脅威インテリジェンスチームによる常時監視を組み合わせて防御にあたっています。

現在、セキュリティ企業のTrellixがインシデント調査に、金融サービスのBlockが非エンジニアによるデータ検索支援にClaudeのエージェントを活用しています。

なぜ重要か

業界全体がエージェントの自律性やツール実行能力の向上を競い合うなかで、Anthropicがいち早く安全基準の言語化に踏み切った点は極めて合理的です。

開発者や導入企業にとって、この指針は実務的なチェックリストとして機能します。エージェントを本番環境に接続する際は、最初から完全自律を狙うのではなく、デフォルトを読み取り専用にし、MCPによるコネクタ単位のアクセス制御を徹底すべきだという具体的な教訓が得られます。

ただし、私たちは確認フローの過多による利便性の低下という課題が残ると考えています。承認要求が多すぎれば自律型エージェントを使う意味が薄れ、少なすぎれば事故に直結します。このトレードオフをUIや権限設計でどう解消していくかが、実用化の最大の分岐点になりそうです。