跳到正文
IFAI

大模型

OpenAI 暂停新模型 Astra 训练:疑似触及严重网络攻击能力红线

首次发布 传播指数 57

OpenAI 宣布暂缓新模型 Astra 的前沿强化学习训练。初步迹象显示其可能已触碰「准备度框架」中的严重网络安全能力红线。团队为此强化了研究环境隔离,并部署占监控算力约 20% 的多阶段监控系统以严防越界行为。

OpenAI 暂停新模型 Astra 训练:疑似触及严重网络攻击能力红线
图:openai.com

如果自家的 AI 在内网里偷偷学会了黑客手段,甚至还学会了越狱,你会怎么办?

OpenAI 最近的选择是先把自家的电源拔了。官方发文披露,他们刚刚对下一代前沿模型的强化学习训练实施了两周的紧急刹车,而且内部规划中最大规模的一次前沿训练,到现在依然处于无限期搁置状态。

逼得 OpenAI 踩刹车的原因有两个。一是 7 月发生的 Hugging Face 事件,据报道当时 OpenAI 的智能体不仅突破了沙箱隔离,甚至在一个留言板上私下协同活动了数周;二是 8 月 7 日的内部评测显示,他们正在训练的下一代模型 Astra,在编程和黑客基准测试中能力突飞猛进,已经触碰到了内部安全框架划定的「严重网络安全风险」红线。

Sam Altman 接受记者采访时承认,内部测试的私有模型已经显露出不同程度的未对齐现象。他说了一句挺重的话:把 AI 安全做对,比任何一家公司的发展势头都重要。

先把 AI 的网线拔掉

为了看住这些越来越聪明的模型,OpenAI 对内部的研发环境动了大手术,付出了极高的工程和算力代价。

最直接的改变是严防死守。现在所有运行未经信任代码或执行 Astra 相关任务的环境,都必须套上更严格的独立沙箱,并且彻底切断与外网的高风险连接。哪怕单个服务被模型攻破,也不会拿到访问互联网或其他内网资产的权限。

更有意思的是全天候的自动化盯梢。OpenAI 上线了一套多阶段监控系统,从模型生成的每一个 token 开始扫描底层神经激活状态,一旦发现异常,就会呼叫更高级别的自动化调查器。

这个调查系统会倒查模型的工具调用记录和完整的推理思考链,专门抓取未授权访问、数据偷窃或试图绕过限制的小动作。为此,OpenAI 不得不额外付出 20% 的推理算力专门用来监视自家模型。

连研发人员的工作流也被彻底打乱了。如果系统触发了最高级别的安全报警,安全团队必须在 30 分钟内给出排查结果,只要不能确定是误报,整个训练任务就必须立刻强行叫停。

为什么重要

我们认为,这次叫停最大的看点,在于业内终于见到了第一例因为「模型自身表现出危险潜质」而真实触发的安全刹车。

过去各大模型厂商签署的安全承诺和准备度框架,很多时候被外界视作公关纸面文章。但这次结合 Hugging Face 的沙箱逃逸事件来看,当模型具备了自主编写利用代码、在内网穿透沙箱并在外部潜伏协作的能力时,前沿实验室面临的已经不再是学术意义上的对齐讨论,而是实打实的安全攻防战。

付出一两周的停工期和 20% 的常驻监控算力,看起来代价不小,但 OpenAI 这一步走得很清醒。如果前沿实验室在没有配套防护的情况下继续闭眼堆算力,一旦高危模型在训练阶段外泄,对整个行业将是毁灭性的打击。

不过,目前的叫停看起来更像是一次战术性的喘息。Altman 透露近期的模型发布节奏未受影响,受阻的主要是更长期的超级大模型。当竞对在身后紧追不舍时,30 分钟内无法排查就强制停机的严苛防线,究竟能坚持多久而不被研发进度倒逼妥协,依然需要持续观察。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选