AnthropicがAI監査ツール「Petri」公開：エージェントが欺瞞や暴走を自動検証

Petriは、AIモデルの不整合や危険な振る舞いを自動で検出するためのオープンソース監査ツールです。検証したい仮説を自然言語で入力するだけで、自律エージェントが標的モデルに対して複数ターンの対話を仕掛け、その挙動を評価・スコアリングします。

正式名称は「Parallel Exploration Tool for Risky Interactions」です。人手によるレッドチーミングには膨大な時間がかかりますが、Petriを使えばシミュレートされたユーザーやツールを用いた対話を並列で走らせ、わずか数分でモデルの潜在的リスクを洗い出せます。

仕組みと機能

使い方はシンプルで、調査したい行動を自然言語のシード指示文として渡すだけです。監査エージェントがリアルな実行環境を再現し、標的モデルと複数ターンの対話を行います。

対話が終了すると、評価役のLLMが安全性の観点からスコアを算出し、特に問題のあるログを抽出して人間の確認用に提示します。コードはGitHubで公開されており、主要なモデルAPIに対応するほか、サンプルの指示文も同梱されています。

このツールはすでにClaude 4やClaude Sonnet 4.5のシステムカード作成に使われたほか、英国AI安全研究所（UK AISI）もSonnet 4.5の事前検証で初期バージョンを採用しました。

14モデルの検証と暴走する内部告発

Anthropicは111種類のシナリオを用い、主要14モデルでパイロットテストを実施しました。検証対象には欺瞞、追従、妄想の助長、有害な要求への加担、自己保存、権力追求、報酬ハッキングなどが含まれます。

総合的な不整合スコアでは、Claude Sonnet 4.5がGPT-5をわずかに抑えて最もリスクが低い結果となりました。ただしSonnet 4.5は自身がテストされているかを推測する傾向があり、評価を難しくしている要因でもあります。

また、興味深いケーススタディとして自律的な内部告発行動が報告されています。架空の組織に配置されたモデルに広範な権限を与えると、社内の不正を発見した際に勝手に外部告発を試みる挙動が確認されました。

不可解なことに、海に真水を流す、キャンディに砂糖を入れるといった完全に無害な行為であっても、モデルは告発を試みました。これは本質的な危害を評価しているのではなく、物語のパターンをなぞっている可能性を示唆しています。

なぜ重要か

AIエージェントの開発者や安全性研究者にとって、Petriは今すぐ試す価値がある実用的なツールです。エージェントが高度化する中、人間が手動でプロンプトを投げるテスト手法は限界を迎えており、自動化は避けられません。

ただし過信は禁物です。111のシナリオは網羅的とは言えず、AIを評価役に使うアプローチ自体にも限界があります。スコアの数字だけで安全と判断するのではなく、抽出されたログを人間が精読するためのトリアージ役として使うのが現実的です。