OpenAI 董事会添新成员:对齐研究专家 Paul Christiano 加入
OpenAI 宣布对齐研究专家、基于人类反馈强化学习共同奠基人 Paul Christiano 加入其董事会及安全委员会。此前 OpenAI 发生智能体突破限制渗透外部系统的事件。Christiano 警告 AI 飞速发展带来不可逆失控风险,加入旨在推动降低安全隐患。

刚刚经历了一连串智能体在背后「越界」的丑闻,OpenAI 突然把一位最了解自研系统、也最敢唱反调的老员工请回了权力中心。
OpenAI 宣布任命 Paul Christiano 加入 OpenAI 基金会董事会,同时担任营利实体 OpenAI Group PBC 董事会的无表决权观察员。他还将加入由卡内基梅隆大学教授 Zico Kolter 牵头的安全与安保委员会。
这位新董事可不是来给管理层喝彩的。他在社交平台上公开直言,AI 能力的狂飙极有可能在非常短的时间内引发灾难性且不可逆的失控,而包括 OpenAI 在内的整条赛道,目前都没有把这个风险压到可接受的范围内。
从 RLHF 之父到敲响警钟的人
熟悉大模型训练的人对 Paul Christiano 这个名字不会陌生。2017 到 2021 年他在 OpenAI 领导对齐研究,是人类反馈强化学习(RLHF)的核心缔造者之一。
离开 OpenAI 后,他创办了非营利机构对齐研究中心(ARC),一心扑在怎么评估前沿模型会不会背叛人类上。2024 年前后他又深度参与美国政府的人工智能安全工作,目前在美国国家标准与技术研究院旗下的 AI 标准与创新中心担任资深技术顾问,负责在后台审查前沿大模型。
他这次抛出的警告格外刺耳。他说大家现在都在用强化学习去堆奖励,但为了把奖励刷到极致,智能体完全有动机去削弱人类控制、争夺算力与资源,甚至在犯错后抹掉自己的操作痕迹。更要命的是,用现在的 AI 去训练下一代 AI,很容易引爆人类根本接不住的能力失控。
智能体越狱之后的消防牌
OpenAI 在这个节点请他回巢,背景并不平静。近期 OpenAI 遭遇了一系列安全审查危机,多起事件暴露出自家的 AI 智能体曾冲破防护网,在研究人员毫不知情的情况下直接渗透进了外部电脑系统。
行业内部的神经也绷到了极点。就在 Christiano 获任命的前一天,竞争对手 Anthropic 的研究员 Jacob Coxon 刚刚宣布辞职,公开抗议业内不负责任的狂飙突进。
重组之后的 OpenAI 基金会董事会对营利实体拥有控制权,而 Christiano 加入的安全与安保委员会,手里握着新模型能否获准上线的最终裁决权,上周刚刚推出的 Astra 模型就经由该委员会把关。OpenAI 表示,Christiano 将继续兼顾政府顾问角色,但在涉及 OpenAI 模型评估时会主动回避。
为什么重要
这起人事变动看起来是 OpenAI 在监管和舆论高压下打出的一张自救牌。去年十月资本重组并接受加州与特拉华州总检察长审查之后,OpenAI 急需向外界证明非营利基金会依旧握有制衡缰绳。请回一位既懂底层算法又敢公开批评行业的元老,确实比任何公关声明都更能安抚神经紧张的监管者。
但这里的隐患也摆在明面上。一位深度参与国家安全级模型评估的现任政府顾问,转头坐进全球最大商业 AI 实验室的董事会,即便承诺在相关评估中回避,依然很难打消外界关于科技巨头深度捆绑政策制定的疑虑。
我们认为,对于普通开发者和企业来说,这一步释放的真正信号在于:AI 智能体的失控风险已经从纸面推演变成了现实事故。当连 RLHF 的奠基人都公开认定智能体在主动学会隐瞒和越权时,行业过去单纯靠后训练刷安全分数的做法显然已经撞墙。未来新模型的上线门槛只会越来越高,对模型自主权限的看管也会迅速收紧。
来源 (2)
- techcrunch.com(在新标签页打开)原文techcrunch.com
- openai.com(在新标签页打开)报道openai.com