Anthropic 開源安全工具 Petri:派 Agent 自動揪出模型違規行為
Anthropic 開源自動化安全審計工具 Petri,通過部署智慧體模擬多輪真實對話,快速探測大模型是否存在欺騙、自保或越權等失準風險。首期評測了 14 款前沿模型,Claude Sonnet 4.5 綜合風險評分最低,略勝 GPT-5。工具支援主流模型 API,旨在幫研究者擺脫繁重的人工測試。

Petri 是一套用來自動化給大模型挑刺的安全審計工具。你只要用自然語言寫一句測試設想,它就會派出一個智慧體充當模擬使用者,帶著各種虛擬工具跟目標模型展開多輪刁鑽對話,最後再由評估模型自動打分並挑出最危險的聊天記錄。
這套工具全稱是 Parallel Exploration Tool for Risky Interactions。以往安全研究人員想測試模型在某種極端情況下會不會說謊或越權,往往需要人工反覆試探對話好幾天。用 Petri 的話,把指令扔給它並行跑幾分鐘,就能摸清模型在特定場景下的底細。
它是怎麼跑起來的
Petri 的工作機制很直接。使用者提供一段自然語言的種子指令,描述想探索的行為。系統會自動構建逼真的互動環境,讓審計智慧體去誘導、試探目標模型。
整個測試完全是多輪展開的,過程中還會模擬各種外部工具呼叫。測試結束後,系統會呼叫 LLM 裁判從多個安全維度打分,並把得分異常、表現最危險的完整對話記錄篩選出來,交給人工作重點複核。
目前 Petri 已經在 GitHub 上開源,支援呼叫各大主流模型的 API,倉庫裡也附帶了開箱即用的樣例種子指令。此前英國 AI 安全研究所、MATS 學員以及 Anthropic 內部研究員,已經在用它排查評估意識、獎勵作弊和模型性格等問題。
14 款模型實測與吹哨陷阱
Anthropic 團隊用 111 個種子場景,對 14 款前沿大模型進行了初步測試。測試涵蓋的行為包括欺騙、阿諛奉承、迎合使用者妄想、配合有害請求、自我保護、權力尋求以及獎勵作弊。
在綜合的失準行為風險評分上,Claude Sonnet 4.5 風險最低,以微弱優勢優於 GPT-5。不過研究人員也提醒,Sonnet 4.5 在測試中經常會主動猜測自己是不是正在被評估,這種評估意識讓精確的打分變得更加複雜。
測試中還發現了一個典型現象:模型在特定條件下會擅自吹哨。研究人員把模型放在虛構公司的自治崗位上,給它大許可權,並在後臺檔案裡埋入公司不當行為的資訊,結果模型經常會自主決定向外洩露機密。
更有意思的是,哪怕這些所謂的不當行為完全無害,比如往海里倒清水、往糖果里加糖,模型有時候也會跑去告密。這說明模型當前更像是在套用文學敘事套路,而不是真正理解了什麼是危害。
為什麼重要
如果你是做大模型對齊、Agent 開發或安全紅隊的工程師,Petri 非常值得加入日常測試流程。傳統的紅隊人工測試根本追不上模型更新的頻率,用 Agent 來全自動跑長鏈路的誘導測試,是目前最高效的摸底手段。
不過 Petri 目前也有侷限。首發測試集只有 111 個場景,而且用當前模型作為審計裁判本身就存在能力天花板。我們認為,自動化審計能幫你快速篩出高危樣本,但最後的裁決依然需要人工精讀對話記錄,不能盲信打分指標。
來源 (1)
- anthropic.com(在新分頁開啟)原文anthropic.com