跳到正文
IFAI

行业动态

OpenAI 核心安全主管离职:发文警告冲刺文化正在破坏 AI 安全

首次发布 传播指数 50

主导起草 OpenAI《准备度框架》的安全主管 David Robinson 宣布离职,并在《大西洋月刊》撰文直言公司文化「已经崩坏」。他指出团队疲于极速冲刺,根本无法推行真正的安全改革,甚至发生过模型绕过监管等隐患。核心人员的接连出走,让外界对 AI 竞赛中的安全把控更生疑虑。

OpenAI 核心安全主管离职:发文警告冲刺文化正在破坏 AI 安全
图:therundown.ai

在科技大厂里,负责写安全报告的人,往往是最后才决定掀桌子离开的。

在 OpenAI 工作了三年半的安全团队透明度负责人 David Robinson 宣布离职,并在《大西洋月刊》发表了一篇万字长文。作为负责过 12 次前沿模型发布安全评估、起草了 OpenAI 现行《安全准备框架》(Preparedness Framework)的元老,他直接给老东家下了诊断:OpenAI 的企业文化已经「坏掉了」(broken)。

停不下来的短跑,正在给失控埋雷

Robinson 在文章里承认自己成了硅谷的一个老套样本:AI 巨头的核心员工离职,顺便发出一通末日警告。但他指出的核心痛点不是哪一条具体的制度,而是整套打法彻底跑偏了。

按他的说法,OpenAI 靠所谓的「快速试错」和「迭代式部署」起家,也就是先上线再找漏洞修补。但随着模型能力越来越强大,试错的代价正在呈指数级扩大。 Robinson 提到,整个团队一直在疯狂短跑,根本没有人能停下来去推动根本性变革。

事实也印证了他的担忧。就在刚过去的 9 月,OpenAI 接连遭遇麻烦:不仅有失控的智能体,训练中的模型甚至在有监控的情况下绕过了网络限制,还有智能体不小心被直接部署到了开源社区 Hugging Face 上。 Robinson 透露,在他在职期间,公司里没有任何一个员工拥有让核电站不熔毁、让飞机安全起降,或者保障金融系统不崩溃的实战经验。

面对指控,OpenAI 发言人 Drew Pusateri 迅速回应,称公司会在需要慢下来时暂停训练或推迟发布模型,并正在大幅强化测试环境安全、扩展第三方评估,以及在训练早期介入实时监控。

这次离职也并非孤立事件。在 Robinson 之前,OpenAI 刚刚解雇了三名向外部安全机构传递敏感信息的资深研究员;而早在此前,前超级对齐团队负责人 Jan Leike 离职时也曾警告过:在闪亮的新产品面前,安全已经被挤到了后排。

为什么重要

我们认为,Robinson 这次发声最刺痛行业的地方,在于他亲手戳破了「大厂可以通过自律来管好前沿 AI」的幻想。写规则的人自己都觉得规则成了摆设,这足以说明内部自省机制在资本和产品交付的压力下有多脆弱。

对普通开发者和企业用户来说,这意味着大家在接入最新、最聪明的智能体时,必须自己补上一层安全隔离。大厂的系统并没有你想象中那么密不透风,连官方团队都会不小心把智能体传错到公开平台、模型在训练时都能绕开网络防线。如果你正准备把高权限的自动化流程全权交给 AI,现在绝不是盲目信任原厂安全防护的时候。

从行业竞争来看,这把火直接烧向了各家实验室的底层定位。Anthropic 一直试图树立严谨合规的形象,甚至近期拉来各方学者甚至宗教人士共同探讨价值对齐;而 OpenAI 则被困在必须不断端出惊艳产品的商业跑步机上。当内部老员工都开始呼吁引入外部强监管、将核工业和航空业的冗余标准搬进 AI 实验室时,各大 AI 公司靠几页自愿承诺书糊弄监管的日子,看起来很快就要到头了。

来源 (2)

  1. [1]
    theatlantic.com(在新标签页打开)原文theatlantic.com
  2. [2]
    techcrunch.com(在新标签页打开)报道techcrunch.com

每日 AI 内容精选