AnthropicがAIリスク評価枠組みを公開、不必要な拒絶を45%削減

AIの安全性といえば、バイオ兵器の設計支援や人類滅亡といった極端な破滅的シナリオばかりが語られがちでした。しかし、現場のユーザーが直面しているのは、詐欺への悪用や、無害な質問に対してモデルが過剰に回答を拒絶する不便さです。

AnthropicはAIがもたらす広範な害を評価し軽減するための体系的な枠組みを公開しました。これまで同社が掲げてきた「責任あるスケーリング方針（RSP）」は壊滅的な大惨事のリスクに焦点を当てていましたが、今回の取り組みは詐欺や児童保護、誤情報といった日常的で多様なリスクを網羅的に捉え直すものです。

リスクを5つの次元で捉え直す

AnthropicはAIによる悪影響を、身体的影響、心理的影響、経済的影響、社会への影響、個人の主体性への影響という5つの基準軸に分類しました。

それぞれの危害について、発生確率、規模、影響を受ける対象、持続期間、テクノロジーが果たした因果関係などを検証します。対策としては、事前・事後のレッドチーミングによる検証のほか、プロンプトの調整からアカウント停止に至る多層的な運用を実施しています。

このフレームワークが適用された代表例として、同社は2つの機能を挙げています。

1つ目はPC操作機能（Computer Use）です。AIが画面を直接操作できるようになると、金融ソフトウェアや通信ツールを介した詐欺やフィッシングの危険が高まります。これに対し、Anthropicはプライバシーを保護しながら危害を検知する「階層的要約」などの独自手法を導入しました。

2つ目は回答の過剰拒絶の改善です。Claude 3.7 Sonnetでは曖昧なプロンプトの処理能力を調整し、危険ではない依頼をむやみに断らないよう学習させた結果、不必要な回答拒絶を45%削減することに成功したとしています。

なぜ重要か

私たちは、今回の発表がAIセーフティの議論を抽象的な脅威論から実用的なエンジニアリングへと引き戻した点を評価しています。

実際の開発者やビジネスユーザーにとって、日常的に最大の障害となっていたのは過度な安全対策による誤検知でした。Claude 3.7 Sonnetで無駄な拒絶が45%減ったことは、プログラミングや学術調査などの作業効率に直結する大きな改善です。

業界全体にとっても、エージェント機能の普及に向けた重要な布石となります。AIにデスクトップ操作を任せる時代において、金融プラットフォームや業務ツールでの暴走をいかに防ぐかはエンタープライズ導入の生命線です。

ただし、心理的影響や個人の主体性といった主観的な領域にまで踏み込むことには慎重さが求められます。監視とプライバシー保護の両立を掲げる階層的要約が、実際の攻撃や運用の現場でどこまで透明性を保てるかが今後の試金石になりそうです。