Anthropic 開源評測工具 Bloom：輸入行為特徵就能自動跑基準

Bloom 是 Anthropic 開源的 AI 行為評測框架，能根據一段簡單的行為描述，自動生成多輪互動場景，量化大模型出現偏差或失準行為的機率。

做大模型安全評測最頭疼的問題就是慢。人工寫測試集往往要耗費幾週甚至幾個月，做出來的靜態題目還很容易被後來的訓練資料汙染，或者模型能力一提升就直接失效。Bloom 想解決的就是這個痛點，把測試套件的生成周期壓縮到幾天之內。

四步自動跑出測試套件

和 Anthropic 之前釋出的 Petri 不同，Petri 是給固定場景去測模型的各種隱性偏好，而 Bloom 是鎖定單一行為，比如阿諛奉迎、長期潛伏破壞、自我保全或自我偏向，然後自動生成大量不同場景去誘發並統計發生率。

Bloom 的整個自動化流程分為四個階段。

第一階段是理解。系統中的智慧體會分析研究人員給出的行為描述和示例對話，梳理出到底要測什麼、為什麼要測。

第二階段是構想。智慧體自動腦補出一批針對性的測試場景，定義好具體情境、模擬使用者的性格、系統提示詞以及工具呼叫環境。

第三階段是演練。系統並行啟動多輪互動，智慧體會動態模擬使用者提問和工具反饋，想方設法誘導被測模型展現目標行為。

第四階段是裁判。由評判模型給每段對話打分，評估行為的出現程度，最後由元裁判彙總出整套測試的宏觀統計指標。

它用一個 Seed 配置檔案來控制全域性。每次執行都會生成全新的互動場景，防止模型死記硬背，同時又靠配置引數保證測試結果可復現。

驗證表現與實用發現

為了檢驗工具的可靠性，Anthropic 拿它測試了 16 個前沿模型，評測套件從構思到跑完只花了幾天的功夫。

在區分能力的測試中，研究人員用 Bloom 去識別刻意注入了怪異特徵的模型。在測試的 10 種特徵裡，Bloom 成功在 9 種特徵上區分出了異常模型與正常基線。唯一沒區分開的是自我推廣，事後人工複核發現，基線模型平時本來就經常自我誇獎。

在裁判一致性方面，團隊人工標註了 40 段對話打分。Claude Opus 4.1 與人類判斷的斯皮爾曼相關係數達到 0.86，在極值判定上表現尤為穩定；Claude Sonnet 4.5 的相關係數為 0.75。

在自我偏好偏差測試中，Bloom 成功復現了 Claude Sonnet 4.5 系統卡里的模型排名。他們還藉此發現，加大思考量能明顯降低 Claude Sonnet 4 的自我偏好，模型並不是更均勻地挑別人，而是意識到利益衝突後直接拒絕給自己打分。

專案集成了 Weights & Biases 用於大規模實驗監控，支援匯出 Inspect 格式的對話記錄，並自帶網頁端記錄檢視器。程式碼和配置模板已在 GitHub 開源，地址是 safety-research/bloom。研究人員可以在本地先用小樣本除錯，確認場景符合預期後再做全量測試。

為什麼重要

對從事模型對齊、安全評測或紅隊測試的研究人員來說，Bloom 是一套省時省力的腳手架。它把過去耗時費力的人工 Prompt 設計，變成了一套可復現的自動化生成流水線，讓安全評測能跟上模型快速迭代的節奏。

不過，這種動態評測高度依賴裁判模型的理解水平，如果裁判自身有盲區，測出來的分數也會失真。我們建議安全團隊和開發者先拿 GitHub 上的種子示例跑幾個典型失準案例，摸清裁判的置信邊界再接入生產管線。