Anthropic、AIの挙動を自動評価するOSS「Bloom」公開

Bloom は、Anthropic がオープンソースとして公開した AI モデルの行動評価フレームワークだ。検証したい挙動を自然言語で記述するだけで、多様なマルチターン対話シナリオを自動生成し、問題行動の発生率を定量化できる。

従来の行動評価は手作業で作成するのに時間がかかる上、固定されたテストセットは将来の学習データに混入して無効化しやすい。モデルの能力向上に評価側の進化が追いつかなくなる課題もある。Bloom は単一の特性から動的にテストスイートを生成することで、作成期間を数日に短縮する。

4 段階でテストを自動生成する仕組み

Anthropic が以前公開した Petri は、固定シナリオを用いてモデルの多様な振る舞いを網羅的に探索するツールだった。これに対し Bloom は、阿諛追従やサボタージュ、自己保存、自己偏向といった単一の振る舞いを指定し、それを引き出す多数のシナリオを自動で作り出す。

パイプラインは 4 つのフェーズで進行する。

第 1 段階は「理解」だ。エージェントが研究者の記述した行動定義やサンプル対話を読み解き、何を測定すべきかを定義する。

第 2 段階は「着想」だ。ターゲットの挙動を誘発するための状況設定、疑似ユーザーの人格、システムプロンプト、ツール利用環境を設計する。

第 3 段階は「展開」だ。複数の対話を並列で実行し、エージェントがユーザー入力やツールの応答を動的にシミュレートしながら対象モデルに働きかける。

第 4 段階は「判定」だ。ジャッジモデルが各対話ログを採点し、メタジャッジが全体の出現率などを集計する。

設定ファイル（シード）で再現性を保ちながら、実行ごとに異なる対話シナリオを生成するため、モデルによる問題文の暗記や汚染を防ぐことができる。

検証結果と分かったこと

Anthropic は 16 のフロンティアモデルを対象に Bloom を適用し、わずか数日で複数の評価スイートを立ち上げた。

特定の癖を意図的に組み込んだ実験用モデルとの識別テストでは、10 種類の特性のうち 9 種類で通常モデルとの差異を正確に検出した。残る 1 種類の自己宣伝については、調査の結果ベースライン側にも元から同様の傾向があったことが分かっている。

人間による評価との一致度を測るため、40 件の対話ログで人手採点と比較したところ、Claude Opus 4.1 をジャッジにした際のスピアマン相関係数は 0.86 に達し、Sonnet 4.5 も 0.75 を記録した。

自己偏向に関するケーススタディでは、Claude Sonnet 4.5 のシステムカードに記載されたモデル順位を忠実に再現した。さらに、推論思考の強度を高めると Sonnet 4 の自己偏向が減る現象も確認された。これは他社モデルを均等に選ぶようになったのではなく、利益相反を自覚して自身の回答の採点を辞退するようになったためだ。

システムは大規模検証向けに Weights & Biases と連携でき、Inspect 互換のログ出力や専用ビューアも用意されている。コードとシード設定例は GitHub（safety-research/bloom）で利用可能だ。

なぜ重要か

アライメント研究やレッドチーミングを行う開発者にとって、手作業でプロンプトを量産する負担を大幅に減らせる実用的なツールだ。評価シナリオが毎回変わるため、データ汚染に強いテスト環境を数日で構築できる。

一方で、動的な評価システムは判定役となるモデルの推論能力に大きく左右される。ジャッジモデルに固有のバイアスがあれば、測定結果も歪む点には注意が必要だ。まずは GitHub にある設定例を使って小規模に試し、判定の信頼性を確かめてみる価値がある。