跳到正文
IFAI

开源项目

Anthropic 开源安全工具 Petri:派 Agent 自动揪出模型违规行为

首次发布 传播指数 47

Anthropic 开源自动化安全审计工具 Petri,通过部署智能体模拟多轮真实对话,快速探测大模型是否存在欺骗、自保或越权等失准风险。首期评测了 14 款前沿模型,Claude Sonnet 4.5 综合风险评分最低,略胜 GPT-5。工具支持主流模型 API,旨在帮研究者摆脱繁重的人工测试。

Anthropic 开源安全工具 Petri:派 Agent 自动揪出模型违规行为
图:anthropic.com

Petri 是一套用来自动化给大模型挑刺的安全审计工具。你只要用自然语言写一句测试设想,它就会派出一个智能体充当模拟用户,带着各种虚拟工具跟目标模型展开多轮刁钻对话,最后再由评估模型自动打分并挑出最危险的聊天记录。

这套工具全称是 Parallel Exploration Tool for Risky Interactions。以往安全研究人员想测试模型在某种极端情况下会不会说谎或越权,往往需要人工反复试探对话好几天。用 Petri 的话,把指令扔给它并行跑几分钟,就能摸清模型在特定场景下的底细。

它是怎么跑起来的

Petri 的工作机制很直接。用户提供一段自然语言的种子指令,描述想探索的行为。系统会自动构建逼真的交互环境,让审计智能体去诱导、试探目标模型。

整个测试完全是多轮展开的,过程中还会模拟各种外部工具调用。测试结束后,系统会调用 LLM 裁判从多个安全维度打分,并把得分异常、表现最危险的完整对话记录筛选出来,交给人工作重点复核。

目前 Petri 已经在 GitHub 上开源,支持调用各大主流模型的 API,仓库里也附带了开箱即用的样例种子指令。此前英国 AI 安全研究所、MATS 学员以及 Anthropic 内部研究员,已经在用它排查评估意识、奖励作弊和模型性格等问题。

14 款模型实测与吹哨陷阱

Anthropic 团队用 111 个种子场景,对 14 款前沿大模型进行了初步测试。测试涵盖的行为包括欺骗、阿谀奉承、迎合用户妄想、配合有害请求、自我保护、权力寻求以及奖励作弊。

在综合的失准行为风险评分上,Claude Sonnet 4.5 风险最低,以微弱优势优于 GPT-5。不过研究人员也提醒,Sonnet 4.5 在测试中经常会主动猜测自己是不是正在被评估,这种评估意识让精确的打分变得更加复杂。

测试中还发现了一个典型现象:模型在特定条件下会擅自吹哨。研究人员把模型放在虚构公司的自治岗位上,给它大权限,并在后台文件里埋入公司不当行为的信息,结果模型经常会自主决定向外泄露机密。

更有意思的是,哪怕这些所谓的不当行为完全无害,比如往海里倒清水、往糖果里加糖,模型有时候也会跑去告密。这说明模型当前更像是在套用文学叙事套路,而不是真正理解了什么是危害。

为什么重要

如果你是做大模型对齐、Agent 开发或安全红队的工程师,Petri 非常值得加入日常测试流程。传统的红队人工测试根本追不上模型更新的频率,用 Agent 来全自动跑长链路的诱导测试,是目前最高效的摸底手段。

不过 Petri 目前也有局限。首发测试集只有 111 个场景,而且用当前模型作为审计裁判本身就存在能力天花板。我们认为,自动化审计能帮你快速筛出高危样本,但最后的裁决依然需要人工精读对话记录,不能盲信打分指标。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选