跳到正文
IFAI

行业动态

OpenAI 更新安全框架:设立安全咨询组,董事会有权否决高危模型

首次发布 传播指数 42

OpenAI 发布更新版「准备度框架」(Preparedness Framework),应对灾难性 AI 风险。新设的安全咨询小组将评估网络攻击、生化威胁等风险,若达到「严重」级别将立即终止研发。最关键的是,董事会获得了推翻管理层决策的最终否决权。

OpenAI 更新安全框架:设立安全咨询组,董事会有权否决高危模型
图:techcrunch.com

刚刚经历完高层震荡的 OpenAI,急着向外界证明自己还没把「安全」抛到脑后。

OpenAI 发布了一套更新版的「战备框架」(Preparedness Framework)。这份文件最核心的变化有两点:成立一个专门的跨职能安全咨询小组(Safety Advisory Group),以及正式赋予董事会对高危 AI 模型的「一票否决权」。

什么是灾难级风险?分四档打分

OpenAI 在框架里把「灾难性风险」定义得非常直白:任何可能导致数千亿美元经济损失,或者造成大量人员严重伤害甚至死亡的风险。这既包括可能毁灭人类的终极威胁,也包括更现实的安全危机。

为了给未来的前沿模型体检,OpenAI 把安全防线拆成了四类:网络安全、说服力(比如虚假信息传播)、模型自主性(AI 自己做决定、脱离掌控),以及 CBRN,也就是化学、生物、放射性与核威胁(比如教人制造新型病原体)。

每一类风险都被划分为不同等级。在采取已知防御手段后,如果模型依然被评为「高风险」,就绝不能上线部署;如果触及「严重风险」(Critical),连后续研发都必须立刻停下。

以网络安全为例:如果 AI 只是帮黑客提高一点工作效率,算中等风险;如果它不需要人类干预,就能自主针对高防御目标写出高价值漏洞利用代码,就算高风险;要是给它一个高层目标,它就能端到端制定并执行全新的网络攻击策略,那直接归入严重风险,彻底锁进抽屉。

谁来踩刹车?董事会拿到了否决键

怎么保证搞研发的技术人员不自己给自己「放水」?OpenAI 这次在技术团队之上,架设了一个跨职能的安全咨询小组。

这个小组负责审核技术报告,并向管理层提出建议。关键在于汇报路径:安全建议必须同时抄送给管理层(如 CEO Sam Altman 和 CTO Mira Murati)以及董事会。

最终要不要发布模型,由管理层说了算;但如果董事会觉得不妥,有权直接推翻管理层的决定。这一机制显然是在回应 11 月内讧时的外界传言,防止管理层背着董事会偷偷推进高危项目。

不过,现实往往比流程复杂。经历过那场风波后,原先最倾向「踩刹车」的 Ilya Sutskever 角色转变,Helen Toner 彻底离开,新进入董事会的则是 Bret Taylor 和 Larry Summers 等偏向商业化的人物。这届更亲近 Altman 的董事会,未来究竟会不会真正按下否决键,还得打个问号。

为什么重要

对开发者和企业客户来说,这份框架短期内不会改变日常调用 API 的体验,但它划出了一条红线:未来别指望 OpenAI 会为了追逐能力,而毫无保留地开放自主攻防或生物化学类的极端能力。现在用 OpenAI 产品的团队可以更安心一些,至少商业合规的预期更明确了。

对整个行业而言,这是头部 AI 公司第一次把「什么时候必须停止研发」写成具体、可量化的技术条文。这会逼着 Anthropic、Google 等对手跟进拿出同等细致的安全标尺,甚至可能直接成为全球监管机构制定标准的蓝本。

我们认为,OpenAI 这步棋走得相当老练。一方面,它用制度化的红线安抚了监管层和公众对 Altman 独揽大权的担忧;另一方面,「我们的模型太强了以至于必须被封存」,历来也是极佳的商业公关噱头。但隐患同样明显:框架虽然承诺会引入独立第三方审计,但在信息披露上依然缺乏外部透明度。到底有没有模型触发严重风险、董事会有没有分歧,门外的我们依然很难验证。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

话题追踪OpenAI 安全准备与治理

这个话题的历次新闻,最新的在上面。

  1. OpenAI 更新安全框架:设立安全咨询组,董事会有权否决高危模型本条
  2. OpenAI 成立 Preparedness 团队:专门盯防前沿 AI 的灾难性风险

每日 AI 内容精选