跳到正文
IFAI

行业动态

Anthropic 启动安全赏金计划:悬赏 2.5 万美元征集通用越狱漏洞

首次发布 传播指数 39

Anthropic 联手 HackerOne 推出新一期漏洞赏金计划,悬赏最高 2.5 万美元征集未发布系统的「通用越狱」漏洞。该计划针对 Claude 3.7 Sonnet 等模型的安全分类器进行压力测试,重点防范化学生物与核武器风险,以满足 ASL-3 安全标准。

Anthropic 启动安全赏金计划:悬赏 2.5 万美元征集通用越狱漏洞
图:anthropic.com

想拿 Anthropic 的赏金,光让 Claude 说两句脏话可不行。这家 AI 公司把自家的「防越狱」机制拉出来任人打靶,甚至开出了最高 2.5 万美元的奖金。

Anthropic 宣布与漏洞赏金平台 HackerOne 合作,启动一项针对未公开安全防御措施的专项漏洞赏金计划。他们邀请安全研究员直接对新版 Constitutional Classifiers(宪法分类器)进行极限施压。

专挑核生化漏洞,单笔最高 2.5 万美元

这次赏金猎人们的目标非常明确:找所谓的「通用越狱」(universal jailbreak)。Anthropic 对这种漏洞的定义是,能够跨多个主题、持续稳定绕过 Claude 安全防线的方法。

但他们最关心的不是模型会不会写钓鱼邮件,而是会不会被利用来获取化学、生物、放射性与核武器(CBRN)相关的信息。

被选中的测试人员可以提前在 Claude 3.7 Sonnet 上测试这套尚未公开发布的分类器系统。只要提交经过验证的通用越狱漏洞,最高可以拿到 2.5 万美元奖金。

整套测试采取邀请制,从去年夏天参加过类似计划的研究员开始,同时也向经验丰富的红队测试人员开放申请通道。

刚刚测完,又转场去测 Claude Opus 4

这套防御体系是 Anthropic 落实其负责任扩展政策(Responsible Scaling Policy)中 AI 安全等级 3(ASL-3)部署标准的核心环节。简单来说,随着模型越来越聪明,必须有一套专属的坚固护栏防范极端破坏风险。

项目推进得相当紧凑。这轮针对 Claude 3.7 Sonnet 的赏金项目在 5 月 18 日结束。

Anthropic 随后在 5 月 22 日更新说明:旧测试告一段落,参与者正无缝转入新一阶段的赏金项目。新目标是把宪法分类器架到全新的 Claude Opus 4 模型上继续高强度打靶,同时接受关于生物威胁等 ASL-3 敏感用途的越狱报告。

为什么重要

把未上线模型的安全护栏直接拉给外部黑客打靶,我们认为这是目前前沿模型厂商里相当聪明也相当务实的一步。

对安全研究员和红队圈子来说,最高 2.5 万美元的悬赏算不上天价,但提前摸到像 Claude Opus 4 这种顶级未发布模型、并且能在前沿对齐机制上实测自己的攻击手段,吸引力已经足够大。不过门槛也非常高,业余试探通常拿不到结果,它要求的是可复现的、能穿透 CBRN 防御的通用套路。

从行业角度看,大模型安全过去经常被批评为「厂商自说自话」或「内部红队走过场」。Anthropic 把它规范成标准的安全众测,一方面在给其他前沿梯队施压,把 ASL-3 的防护标准做成行业标杆;另一方面,这也是一次极好的合规秀肌肉。

但这种模式也有隐患。外部赏金猎人往往关注现有的、已知的提示词注入套路,而真正的极端风险往往来自未知的多模态或复杂工具调用链。只防住了已知的 CBRN 问答,分类器能否经受住真实世界里千奇百怪的组合利用,看起来依然是 Anthropic 长期需要面对的难题。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

话题追踪Anthropic 进军美国政府与国防领域

这个话题的历次新闻,最新的在上面。

  1. Anthropic 推出 Claude Gov:专供美国国安机构,涉密任务少拒答
  2. Anthropic 启动安全赏金计划:悬赏 2.5 万美元征集通用越狱漏洞本条
  3. Anthropic 推进政府合规:Vertex AI 上的 Claude 获 FedRAMP High 授权

每日 AI 内容精选