跳到正文
IFAI

大模型

Anthropic 详解 Fable 5 网络防护:请求分四类拦截,推越狱严重度框架

首次发布 传播指数 48

Anthropic 详解重新上线的 Claude Fable 5 网络安全防护。其安全分类器将行为划分为禁止、高低风险双重用途和良性四类,并拉大了防御安全边际。同时团队联合 Glasswing 提出越狱严重度评估框架草案,并在 HackerOne 上线漏洞提交项目。

Anthropic 详解 Fable 5 网络防护:请求分四类拦截,推越狱严重度框架
图:anthropic.com

如果你这几天试过让大模型帮忙找代码漏洞,可能会发现 AI 突然变得谨小慎微,稍微沾点网络攻击边缘的提示词就会被直接拒答。

Anthropic 在重新部署 Claude Fable 5 并面向全球开放的同时,干脆把自家的安全拦截机制和判断标准摊开在台面上。它们不仅列出了模型绝不能碰的红线,还联合 Glasswing 提出了一套用来给 AI 越狱定级的严重度框架,并在 HackerOne 上开通了专门的漏洞赏金项目。

四道关卡,宁可错杀也不漏过

网络安全最让人头疼的地方在于「双重用途」:同一个漏洞扫描能力,防守方拿去是打补丁,攻击者拿去就是写挂载武器。

为了处理这种灰色地带,Anthropic 给 Fable 5 配备了一套独立运行的安全分类器,把所有安全相关请求划分为四类:禁止使用、高风险双重用途、低风险双重用途以及良性使用。

被直接判死刑的禁止使用类,主要是那些对防守方几乎没好处、却能给攻击者带来巨大破坏的行为。比如开发木马或敲诈勒索软件、破坏工业控制系统、规避杀毒软件、篡改日志,以及针对 BGP 或 DNS 根服务器等互联网骨干设施的破坏。

而红队测试、渗透攻防、提权或容器逃逸这类日常合规操作,被划进了高风险双重用途。由于 Anthropic 目前还无法通过提示词分辨坐在屏幕后面的是白帽黑客还是黑产团伙,这类请求现阶段大部分会被一并拦截。

值得一提的是所谓的「高提升漏洞挖掘」。如果一个漏洞普通开源模型就能看出来,Fable 5 会帮忙分析修复;但如果涉及极度复杂的未知漏洞挖掘,模型就会收手,防止顶尖的漏洞利用能力落入坏人手里。

为此,Anthropic 特意放宽了这次的安全余量。换句话说,哪怕是正常的低风险操作,只要稍微有点可疑,分类器也会宁可错杀、直接关上大门。

越狱也需要统一的度量衡

除了在模型外围装拦截网,Anthropic 还联合伙伴推出了越狱严重度框架的初稿。

现在的行业现状是,只要有人绕过提示词让模型说了一句脏话,就会被称为越狱;而有人通过特殊诱导让模型写出未公开漏洞利用代码,也被叫做越狱。两者的破坏力完全不在一个量级。

Anthropic 想推动一套标准化的语言,让模型开发者和监管机构在谈论风险时能站在同一个频道上。为了检验这套防御机制的实际水平,它们在 HackerOne 上线了针对 Fable 5 网络越狱的提交渠道,邀请外部安全研究员来挑刺。

为什么重要

对从事安全防护的工程师来说,这一套规则落地意味着现阶段用 Fable 5 干重活会相当束手束脚。合法合规的渗透演练很可能会频繁撞墙,在官方拿出可靠的身份认证机制之前,它更适合用来做常规的代码审计和通识性防护建议。

我们认为,Anthropic 这次把分类器边界细化到具体协议和场景,是一个非常聪明的防御姿态。它不再跟公众打安全谜语,而是把什么是恶意代码、什么是合规红队列成明细,既给监管层交了差,又把「误伤合法用户」的责任归咎为缺少配套的信任认证。

但这里的隐患也显而易见。过度扩大的安全余量正在大幅消耗开发者的耐心,如果白帽专家每次正常调试都要猜谜式绕过安全词,很多人可能会转投限制更宽松的开源模型。如何尽快建立安全白名单或企业认证通道,将决定这道防线到底是在保护生态,还是在把专业用户往外推。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选