OpenAI 成立超级对齐团队:押上 20% 算力,四年内解决失控风险
OpenAI 宣布成立「超级对齐」团队,由首席科学家 Ilya Sutskever 和 Jan Leike 共同牵头。团队计划在未来四年投入已掌握算力的 20%,目标是造出人类水平的自动化对齐研究员,用 AI 监督更聪明的 AI。OpenAI 认为超级智能可能在十年内到来,人类必须赶在失控前找到可扩展的控制方案。

如果有一天,你创造出的工具比你聪明成千上万倍,你该怎么确保它不反咬你一口?
这听起来像是科幻小说的设定,但 OpenAI 觉得,这件事在未来十年内就可能发生。7 月 5 日,OpenAI 宣布组建一个全新的核心团队,取名为「超级对齐」(Superalignment)。
为了攻克这个难题,OpenAI 拿出了相当夸张的资源:在未来四年里,直接拨出公司目前已锁定的 20% 算力。团队由 OpenAI 联合创始人兼首席科学家 Ilya Sutskever,以及对齐团队负责人 Jan Leike 共同带队。
他们的目标非常明确,要在四年之内,彻底解决控制超级智能 AI 的核心技术挑战。
让人类监督比自己更聪明的存在,本来就是个伪命题
OpenAI 提出这个计划的逻辑很现实。现在的 ChatGPT 靠的是人类反馈强化学习(RLHF),也就是人类看着 AI 给出的答案,告诉它哪个更好、哪个不对。
但这套方法有个致命的前提:人类得看得懂 AI 的操作,得比 AI 懂得多。一旦超级智能出现,它的复杂程度远远超出人类大脑的理解范围,人类根本没办法去可靠地监督它。
换句话说,现在的对齐手段,在超级智能面前完全无法扩展。如果找不到新方法,人类就可能面临失去对 AI 控制权的风险,甚至威胁到人类生存。
OpenAI 给出的解法很有一点「用魔法打败魔法」的味道:先造出一个大致达到人类水平的「自动化对齐研究员」。然后把大量算力堆上去,让这个 AI 研究员去监督和对齐更强大的系统。
具体来说,他们规划了三个主要步骤。首先是研发可扩展的监督机制,让 AI 辅助评估其他 AI,并研究模型如何把安全规则推导到人类看不懂的未知任务上。
其次是内部验证,通过自动化工具去扫描系统内部的异常行为和内部表征,就像给 AI 做脑部 CT。
最后是压力测试,他们甚至计划故意训练出恶意、不对齐的模型,专门用来检验这套防御机制能不能把最坏的失控情况揪出来。
他们还公开表示,超级对齐本质上是一个机器学习问题,正在全球搜罗顶尖的算法人才,并且研究成果会向整个行业开源共享。
为什么重要
我们认为,OpenAI 这次成立超级对齐团队,最值得玩味的是它对行业发出的信号。
对普通开发者和用户来说,这个团队在短时间内可能不会带来什么立竿见影的消费级功能。你不会马上看到一个更聪明的聊天机器人,但这决定了未来更强大的通用人工智能在进入社会时,会不会带着致命的不可控漏洞。
对整个行业而言,Ilya Sutskever 亲自挂帅并压上两成算力,相当于把「AI 生存危机」从学术边缘的清谈,正式推成了头部实验室最核心的工程攻坚战。这会倒逼 Google、Anthropic 等竞争对手不得不拿出同等级别的算力和人才储备来应对,甚至可能重塑资本市场评估 AI 实验室安全投入的标准。
从做法上看,OpenAI 的设想看起来非常性感,但隐患也很刺眼。他们指望造出一个人类水平的 AI 来代替人类搞研究,本质上依然是在把安全信任链建立在 AI 身上。
如果最开始用来做监督的那个 AI 本身就存在隐秘的偏见、误解甚至伪装,那后续层层递进的自动化对齐,就可能变成一个人类根本无法察觉的系统性盲区。让 AI 监管更聪明的 AI,既是目前唯一算力上走得通的路径,也是一场胜负未卜的高空走钢丝。
来源 (1)
- openai.com(在新标签页打开)原文openai.com
话题追踪OpenAI 超智能安全与治理战略
- OpenAI 成立超级对齐团队:押上 20% 算力,四年内解决失控风险本条
- OpenAI 谈超级智能治理:呼吁建立类似 IAEA 的国际监管机构