跳到正文
IFAI

行业动态

Anthropic 扩展漏洞赏金:抓通用越狱最高奖 1.5 万美元

首次发布 传播指数 38

Anthropic 宣布扩大与 HackerOne 合作的模型安全漏洞赏金计划,邀请研究人员提前测试其尚未公开的下一代防护系统。重点悬赏能突破核生化与网络安全等高风险护栏的「通用越狱」,单项奖金最高达 15000 美元。

Anthropic 扩展漏洞赏金:抓通用越狱最高奖 1.5 万美元
图:anthropic.com

以前黑客给软件找茬,找的是内存泄漏或者权限绕过。现在顶级大模型厂商找黑客,是要他们想尽办法把 AI 搞「疯」。

Anthropic 宣布扩大自己的安全漏洞赏金计划。这次他们拿出最高 1.5 万美元的单笔奖励,专门邀请白帽黑客和安全研究员来攻击一套还没正式上线的下一代安全防护系统。

悬赏 1.5 万美元,专抓「通用越狱」

Anthropic 之前就和安全平台 HackerOne 合作搞过邀请制的赏金计划,但当时主要是针对已经公开发布的模型。

这次玩法变了。他们把尚未对外部署的下一代防御机制拿了出来,给测试人员提前访问权限,让大家在一个受控环境里提前「砸场子」。

测试的核心目标很明确,就是所谓的「通用越狱」。

平时大家在网上看到的越狱提示词,很多换个话题或者稍微变个问法就失效了。但通用越狱不同,它能成体系、稳定地跨领域绕过安全护栏。

按照 Anthropic 的定义,只要攻击手段能让模型回答特定数量的指定危险问题,就算是通用越狱。他们最防备的领域也非常硬核,专门点名了化学生物放射性核武器(CBRN)以及网络安全攻击。

有能力的白帽研究人员需要在 8 月 16 日前提交申请,Anthropic 会在秋季联系入选者。虽然初期是小范围邀请制,但官方表示未来打算逐步扩大规模。

为什么重要

大模型行业现在的安全防御,很多时候像在玩「打地鼠」。用户发现一个提示词漏洞,官方赶紧打个补丁,过两天社区又琢磨出一种新套路。

Anthropic 这次的思路很清晰,他们意识到单靠内部红队根本测不全所有的 prompt 技巧。与其等新模型上线后被全球网友公开处刑,不如在发布前把半成品扔给最懂行的一批黑客,花钱买平安。

我们认为,1.5 万美元的封顶赏金对个人安全研究员来说有一定吸引力,但如果横向对比传统网络安全行业核心漏洞动辄数万甚至数十万美元的赏金,这个数额其实不算特别阔气。

不过对于行业来说,把「通用越狱」作为独立标的并开出明码标价,给大模型安全评测立了一个很具操作性的靶子。这也意味着主流 AI 厂商的竞争焦点,正从单纯比拼跑分,转移到底层防失控的工程化能力上。

如果你是从事 AI 安全或红队测试的研究者,8 月 16 日前递交申请绝对值得一试。能直接摸到未公开的下一代防御架构,这种实战经验对安全圈内部来说本身就比赏金更有吸引力。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选