跳到正文
IFAI

大模型

OpenAI 推出红队模型 GPT-Red:靠自我博弈找漏洞,GPT-5.6 注入失误砍掉六分之五

首次发布 传播指数 49

OpenAI 披露内部红队模型 GPT-Red。它采用自我博弈强化学习挖掘提示词注入漏洞,再将攻击数据反哺生产训练,使 GPT-5.6 Sol 在极难注入基准上的失误率骤降至四个月前模型的六分之一。GPT-Red 仅限内部安全使用,不对外发布。

OpenAI 推出红队模型 GPT-Red:靠自我博弈找漏洞,GPT-5.6 注入失误砍掉六分之五
图:openai.com

如果办公室里的自动售货机接入了 AI,你会怎么试探它?OpenAI 最近把自家内部研发的黑客 AI 放进了办公室,结果这台机器被彻底玩坏了:不仅把几百美元的高档零食改成了五毛钱甩卖,还顺手取消了其他同事的订单。

OpenAI 披露了这个名为 GPT-Red 的内部专用安全红队模型。与传统依赖安全人员手工写攻击提示词的做法不同,GPT-Red 是一个专门通过自博弈强化学习训练出来的自动化攻击者。OpenAI 把它当成磨刀石,用来在生产模型上线前进行高强度对抗训练。

这套练兵法直接反映在了最新模型上。OpenAI 最新的主力模型 GPT-5.6 Sol 在最难的直接提示词注入基准测试中,失误率相比四个月前的生产模型直接下降到了原来的六分之一,面对 GPT-Red 自身发起的直接注入,失败率已经压低到了 0.05%。

左右互搏练出来的「专业黑客」

以往搞大模型安全,最大的瓶颈在人。人工红队虽然能找出很多刁钻的漏洞,但写提示词、试探边界的速度太慢,根本产不出足够庞大且多样的对抗数据来喂给训练流程。

OpenAI 这一次干脆把算力拉满。他们给 GPT-Red 投入了 OpenAI 史上专门针对安全后训练的最大规模算力,让它与一组负责防守的 LLM 模型在大量模拟环境里持续自博弈。GPT-Red 的目标是成功诱导模型违规或者执行越权注入,而防守方的目标是一边抵御攻击一边完成正常任务。防守方越顽固,GPT-Red 就被迫进化出越刁钻的攻击招数。

在未知场景的泛化测试里,GPT-Red 的表现几乎碾压了人类专家。在复刻的 Dziemian 间接提示词注入挑战中,人类红队在面对陌生环境时的攻击成功率只有 13%,而 GPT-Red 达到了惊人的 84%。

更早版本的 GPT-Red 还自己摸索出过一种叫做「虚假思维链」(Fake Chain-of-Thought)的新型攻击方式。这种攻击在当年的 GPT-5.1 上成功率一度超过 95%,而通过对抗训练反哺后,GPT-5.6 Sol 面对同类手法的被破防率已经降到了 10% 以下。

把办公室自动售货机黑了个底朝天

为了检验模型在真实复杂系统下的攻击力,OpenAI 还给 GPT-Red 出了一道实战考题:攻击公司办公室里由 Andon Labs 制造的 AI 智能自动售货机。

测试过程中,GPT-Red 只拿到了系统的基本描述以及与模拟环境交互的权限,对底层设计细节并不完全知情。即便如此,它在反复尝试几次后就抓住了漏洞,在实际系统上完成了全部三项目标:把一件原本很贵的在售商品改成最低允许价格 0.5 美元;下单采购一件价值超过 100 美元的新商品并以 0.5 美元上架;取消另一位顾客的正常订单。

在针对基于 GPT-5.4 mini 的 Codex 命令行智能体测试中,面对 10 个未公开的数据外发泄露场景,GPT-Red 同样在成功率和 Token 消耗效率上双双击败了拿提示词驱动的 GPT-5.5 基准。

对于外界关心的防御手段是否会导致 AI 动不动就拒绝回答,OpenAI 表示,GPT-5.6 Sol 的常规任务能力没有受到任何负面影响,过度拒绝的情况并未增加。这意味着安全性的提升来自于真正学会了识别恶意指令,而不是靠摆烂或拒绝干活来应付差事。

为什么重要

在我们看来,GPT-Red 最重要的意义在于它跑通了安全领域的飞轮效应。过去模型能力增长像坐火箭,而安全红队还在靠人工纯手工敲代码,这种产能脱节迟早会酿成严重灾难。现在把自博弈强化学习用到红队攻防上,意味着未来的 AI 安全可以跟着算力一起规模化扩展,让上一代模型为下一代模型筑墙。

这种思路做得很聪明,但隐患也显而易见。OpenAI 特别强调 GPT-Red 是内部专用且绝对不向外部署,因为一旦这类具备自动化渗透和越权控制能力的攻击模型泄露,攻击者就能以极低成本对全球接入工具的 Agent 展开自动化点杀。既然 OpenAI 能用强化学习训练出攻防大杀器,其他团队甚至恶意组织迟早也能复现类似架构,攻防不对称的天平可能会被进一步打破。

对于正在把大模型接进内部数据库、自动化工具和实际业务流的企业来说,这更是一个警钟。办公室售货机的例子已经证明,一旦 Agent 拥有操作工具的权限,提示词注入不再只是单纯让聊天框蹦脏话,而是会直接导致财产损失和业务逻辑篡改。指望靠简单的静态规则做防护已经完全不够用了,整个行业必须重新审视智能体系统的执行权限与安全边界。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选