Anthropic 开源评测工具 Bloom：输入行为特征就能自动跑基准

Bloom 是 Anthropic 开源的 AI 行为评测框架，能根据一段简单的行为描述，自动生成多轮交互场景，量化大模型出现偏差或失准行为的概率。

做大模型安全评测最头疼的问题就是慢。人工写测试集往往要耗费几周甚至几个月，做出来的静态题目还很容易被后来的训练数据污染，或者模型能力一提升就直接失效。Bloom 想解决的就是这个痛点，把测试套件的生成周期压缩到几天之内。

四步自动跑出测试套件

和 Anthropic 之前发布的 Petri 不同，Petri 是给固定场景去测模型的各种隐性偏好，而 Bloom 是锁定单一行为，比如阿谀奉迎、长期潜伏破坏、自我保全或自我偏向，然后自动生成大量不同场景去诱发并统计发生率。

Bloom 的整个自动化流程分为四个阶段。

第一阶段是理解。系统中的智能体会分析研究人员给出的行为描述和示例对话，梳理出到底要测什么、为什么要测。

第二阶段是构想。智能体自动脑补出一批针对性的测试场景，定义好具体情境、模拟用户的性格、系统提示词以及工具调用环境。

第三阶段是演练。系统并行启动多轮交互，智能体会动态模拟用户提问和工具反馈，想方设法诱导被测模型展现目标行为。

第四阶段是裁判。由评判模型给每段对话打分，评估行为的出现程度，最后由元裁判汇总出整套测试的宏观统计指标。

它用一个 Seed 配置文件来控制全局。每次运行都会生成全新的交互场景，防止模型死记硬背，同时又靠配置参数保证测试结果可复现。

验证表现与实用发现

为了检验工具的可靠性，Anthropic 拿它测试了 16 个前沿模型，评测套件从构思到跑完只花了几天的功夫。

在区分能力的测试中，研究人员用 Bloom 去识别刻意注入了怪异特征的模型。在测试的 10 种特征里，Bloom 成功在 9 种特征上区分出了异常模型与正常基线。唯一没区分开的是自我推广，事后人工复核发现，基线模型平时本来就经常自我夸奖。

在裁判一致性方面，团队人工标注了 40 段对话打分。Claude Opus 4.1 与人类判断的斯皮尔曼相关系数达到 0.86，在极值判定上表现尤为稳定；Claude Sonnet 4.5 的相关系数为 0.75。

在自我偏好偏差测试中，Bloom 成功复现了 Claude Sonnet 4.5 系统卡里的模型排名。他们还借此发现，加大思考量能明显降低 Claude Sonnet 4 的自我偏好，模型并不是更均匀地挑别人，而是意识到利益冲突后直接拒绝给自己打分。

项目集成了 Weights & Biases 用于大规模实验监控，支持导出 Inspect 格式的对话记录，并自带网页端记录查看器。代码和配置模板已在 GitHub 开源，地址是 safety-research/bloom。研究人员可以在本地先用小样本调试，确认场景符合预期后再做全量测试。

为什么重要

对从事模型对齐、安全评测或红队测试的研究人员来说，Bloom 是一套省时省力的脚手架。它把过去耗时费力的人工 Prompt 设计，变成了一套可复现的自动化生成流水线，让安全评测能跟上模型快速迭代的节奏。

不过，这种动态评测高度依赖裁判模型的理解水平，如果裁判自身有盲区，测出来的分数也会失真。我们建议安全团队和开发者先拿 GitHub 上的种子示例跑几个典型失准案例，摸清裁判的置信边界再接入生产管线。