跳到正文
IFAI

行业动态

OpenAI 联合 FMF:推出评估 AI 网络越狱严重性的新框架

首次发布 传播指数 47

OpenAI 与 Frontier Model Forum 及其成员公司合作推出新评估框架,重点识别 AI 防线被突破后可能引发严重网络危害的场景。该框架旨在建立通用衡量方法,评估网络越狱解锁的能力与易用程度,帮助优先强化安全防护。

OpenAI 联合 FMF:推出评估 AI 网络越狱严重性的新框架
图:frontiermodelforum.org

现在给大模型「越狱」的提示词在网上一搜一大把,但厂商面临的真正麻烦在于:不是所有越狱造成的后果都一样严重,到底该先堵哪一个?

针对这个问题,OpenAI 联合 Frontier Model Forum(FMF)及其成员公司,推出了一个全新的安全评估框架。这套框架的核心任务,就是专门用来识别当 AI 系统的安全防线被突破时,究竟在哪些场景下会引发严重的网络危害,进而帮助安全团队优先补强防护。

给网络越狱排个危害等级

以前评估越狱,很多时候只看模型有没有破防、吐没吐出违禁内容。但这次的新框架把重点放在了破坏力上。

OpenAI 国家安全政策负责人 Sasha Baker 表示,这套框架是建立通用衡量标准的重要一步。它不仅会评估越狱操作到底解锁了哪些潜在危险能力,还会测量这些能力被坏人实际利用起来到底有多容易。

安全和 AI 社区有了统一的标准,才能积累更明确的数据证据,把有限的防御资源砸在最危险的漏洞上。

为什么重要

我们认为,AI 厂商终于开始告别「打地鼠」式的被动防御了。

以前模型只要被诱导写出一段恶意代码,大家就忙着给模型加补丁,但往往忽略了这段代码在真实黑客攻击中到底有没有用、门槛有多高。把防御优先级和实际网络杀伤力挂钩,看起来是非常务实的一步。

不过,光有评估框架还远远不够。FMF 成员之间能否真正共享越狱漏洞数据、这套标准是否会被外部安全研究人员认可,将决定它到底是一份行业公认的硬核标准,还是一次联合公关声明。

来源 (1)

  1. [1]
    x.com(在新标签页打开)原文x.com

每日 AI 内容精选