跳到正文
IFAI

行业动态

OpenAI 安全委员会转为独立架构:拥有推迟模型发布权

首次发布 传播指数 40

OpenAI 宣布将安全与安保委员会转为独立的董事会监督委员会,由卡内基梅隆大学的 Zico Kolter 担任主席。该委员会拥有在安全顾虑解决前推迟模型发布的权力,相当于给前沿模型发布设置了独立的刹车机制。

OpenAI 安全委员会转为独立架构:拥有推迟模型发布权
图:openai.com

让一个跑得飞快的 AI 实验室自己踩刹车,一直以来都像是在开玩笑。

OpenAI 宣布把自家的安全与安保委员会改组为独立的董事会监督委员会。最关键的变化在于权力,这个新委员会不仅要听取管理层的模型安全评估汇报,还握有一项实权:如果安全问题没解决,他们有权直接推迟模型发布。

谁在握着刹车踏板

这个委员会刚刚完成了为期 90 天的安全流程审查,董事会随即批准了他们提出的五大建议并正式完成改组。

委员会主席由卡内基梅隆大学计算机学院机器学习系主任 Zico Kolter 担任。其他三名成员包括 Quora 联合创始人兼首席执行官 Adam D’Angelo、退役美国陆军上将 Paul Nakasone,以及前索尼执行副总裁兼总法律顾问 Nicole Seligman。

值得注意的是,此前这个委员会还包括萨姆·奥特曼等管理层成员。现在它变成了一个完全由董事会独立董事组成的监督机制,专门监督模型开发和上线全过程。

在做出这轮调整前,该委员会已经参与审查了最新发布的推理模型 OpenAI o1 的上线标准与安全评估结果。

筑高墙与拉外援

除了设立独立监督委员会,OpenAI 还公布了一系列安全防线落地的动作。

在网络安全层面,OpenAI 正在推行更严格的内部信息分段隔离,扩建全天候轮值安全运维团队,并评估为整个 AI 行业建立类似金融或关键基础设施领域的网络威胁信息共享与分析中心。

在外部合作上,他们拉来了美国洛斯阿拉莫斯国家实验室,评估前沿 AI 在生物科学实验环境下的潜在风险,同时还与美英两国的 AI 安全研究所达成了风险研究协议。

为了把这些规则真正落进日常开发,OpenAI 内部还重组了研究、安全与政策团队,准备建立一套指标明确且能随着模型能力动态调整的综合安全框架。

为什么重要

我们认为,OpenAI 这一步最大的看点在于把安全一票否决权交给了独立董事。过去大模型团队总是既当运动员又当裁判员,商业竞争压力一旦上来,安全底线往往会被压缩。

把推迟发布的开关交给外部学术界、前军方情报高官和法律专家,看起来是一次聪明的制度补丁。这不仅能安抚外界对超级智能失控的焦虑,也为应对全球监管机构铺好了合规台阶。

但隐患依然摆在台面上。即便委员会握有延期发布的权力,在日趋激烈的商业缠斗中,他们到底有没有魄力、能不能真的顶住竞争压力叫停旗舰模型的发版节奏,目前依然要打个问号。制度写在了纸面上,真正的考验永远在下一次重磅模型冲刺上线的那一刻。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

话题追踪OpenAI 领导层危机

这个话题的历次新闻,最新的在上面。

  1. OpenAI 政策研究员 Rosie 离职:AGI 准备团队解散后难以为继
  2. OpenAI 联合创始人 Brockman 结束休假归队:将聚焦重大技术挑战
  3. OpenAI 再失安全领军人:研究副总裁 Lilian Weng 宣布离职
  4. OpenAI 推进营利性转型:已就重组与加州监管部门展开接洽
  5. OpenAI 完成 66 亿美元新融资:投后估值达 1570 亿美元

每日 AI 内容精选