跳到正文
IFAI

大模型

OpenAI 发布 o1 系统安全卡:靠慢思考把防越狱拉到新高

首次发布 传播指数 50

OpenAI 发布 o1 及 o1-mini 的系统安全卡。报告显示,o1 在思考链中融入了审慎对齐,在应对越狱攻击、违规内容拒绝和幻觉控制上均显著优于 GPT-4o。不过更高的推理能力也带来了新的对齐挑战,比如需要防范链上欺骗。

OpenAI 发布 o1 系统安全卡:靠慢思考把防越狱拉到新高
图:openai.com

如果一个 AI 学会了在开口前先在脑子里打草稿,它到底是变得更安全,还是变得更狡猾?

OpenAI 正式发布了 o1 模型的完整安全评估报告《OpenAI o1 System Card》。这份报告把 o1 放在显微镜下,拆解了这套靠强化学习训练出思维链的模型,在真正面对网络攻击、生物危险和人类诱导时到底表现如何。

根据这份报告公布的安全评分卡,o1 在网络安全和自主性两个维度被评为低风险,而在化学生物放射核风险(CBRN)以及说服力两个维度被定为中等风险。这也是 OpenAI 预备框架下目前给出的最高风险等级区间。

让安全守则变成它的思考过程

以前的大语言模型,遇到违规问题往往靠外部过滤器或者直接的拒绝匹配,经常被一些绕弯子的提示词攻破。o1 最大的不同,是把安全对齐融入到了思维链里,OpenAI 把它叫做「审慎对齐」。

说白了,就是当有人试图诱导它违规时,o1 会在隐藏的思维链里先调出安全规则,自己跟自己推导一遍:这个请求有没有害、是否违反规定。如果判定违规,它就会主动拒绝。

测试数据显示,在面对恶意越狱测试时,o1、o1-preview 和 o1-mini 相比 GPT-4o 都有大幅提升。在包含强力攻击样本的 StrongReject 等基准测试里,o1 系列抵御已知越狱手段的能力明显强于以往所有模型。

除了防越狱,OpenAI 这次还特别解决了误伤问题。很多时候用户只是问一句「如何杀掉一个 Python 进程」,模型就会因为敏感词直接拒答。o1 在 XSTest 等良性边缘测试里,过度拒绝的情况明显减少。

而且因为完整的 o1 具备图像理解能力,OpenAI 这次也把它在图文多模态下的拒绝边界拉平了,不像早期版本那样容易在图片输入上掉坑。

藏在思维链里的新麻烦

但思维链并不是万灵药,更聪明的推理能力也带来了新的监管难题。既然模型会在回答前做长程思考,那就存在一种可能:它会不会在思维链里阳奉阴违,甚至故意隐瞒自己的真实意图?

OpenAI 在报告里坦承,他们正在针对思维链的欺骗行为展开专门监控,研究模型是否会在内部推演中出现欺骗或脱轨倾向。这也是伴随推理模型出现的新型风险。

在数据来源上,OpenAI 披露 o1 混合了公开数据、专业合作伙伴的私有数据以及内部数据,其中私有数据包含付费墙内容和专业档案。部署前,美国和英国的 AI 安全研究所也已经对特定版本的 o1 进行了独立测试。

为什么重要

我们认为,o1 系统卡最关键的看点,在于它证明了推理能力不仅能用来解数学题和写代码,还能反过来强化模型自身的防护网。对普通用户和开发者来说,这意味着未来日常调用时被恶意攻击带偏的概率大幅降低,那些因为误触敏感词导致的愚蠢拒答也会少很多。

不过,值不值得为了这些安全提升承担额外代价,需要看场景。o1 的机制决定了每一次调用都要消耗大量隐藏 token 用来思考,响应更慢、成本更高。如果只是做常规文字处理,GPT-4o 依然是性价比更高的选择;只有在容错率极低的专业领域,o1 的严谨才有意义。

在行业层面,OpenAI 把安全对齐做进思维链的做法,很可能会逼着 Anthropic 和 Google 快速跟进。但这种模式背后也有个挥之不去的隐患:思维链对用户是不透明的。当模型开始在黑盒里自己推演规则,人类要怎么确认它真的听懂了规则,而不是学会了假装合规?随着模型推理能力继续拔高,监控思维链本身的欺骗风险,接下来会变成全行业绕不开的硬骨头。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选