跳到正文
IFAI

AI科研

OpenAI 设立 1000 万美元资助:专攻超人类 AI 对齐难题

首次发布 传播指数 35

OpenAI 联合 Eric Schmidt 设立 1000 万美元的超级对齐快速资助计划,支持超人类 AI 系统的安全研究。资助面向学术实验室、非营利组织与个人,金额在 10 万至 200 万美元之间,还设 15 万美元的研究生奖学金。重点资助从弱到强泛化与可解释性等方向,不要求过往对齐经验。

OpenAI 设立 1000 万美元资助:专攻超人类 AI 对齐难题
图:openai.com

如果一个比人类聪明得多的 AI 随手写出一百万行复杂的代码,你甚至看不懂它的逻辑,你怎么敢把它跑在核心系统上?

这就是 OpenAI 现在最头疼的问题。12 月 14 日,OpenAI 联手前 Google CEO 埃里克·施密特(Eric Schmidt),正式启动了一笔 1000 万美元的「超级对齐快速资助计划」(Superalignment Fast Grants),专门砸钱招募全球学者解决这个难题。

OpenAI 预测,超越人类水平的超级智能可能会在未来 10 年内降临。问题在于,现在整个行业用来管住大模型的手段,基本全靠人类反馈强化学习(RLHF)。但这种方法到了超级模型面前,可能马上就会失效。

当小学生开始给博士生批改作业

说白了,RLHF 的底层逻辑是人类当考官。只要模型说得不对或者有偏见,人就给它打低分,模型照着改。

但面对超级智能时,人类和 AI 的角色彻底颠倒了。人类变成了弱监督者,就像让一个小学生去批改理论物理学博士的毕业论文,小学生根本看不出里面藏着什么漏洞或者后门。

为了打破这个僵局,OpenAI 这次拿出的 1000 万美元,重点砸向了几个非常前沿的技术方向。

第一个也是最核心的,叫「弱到强泛化」(Weak-to-strong generalization)。也就是研究怎么用水平较低的模型或人类规则,去可靠地引导和控制能力远超自己的强模型。

第二个是可解释性,搞清楚大模型肚子里到底在想什么,甚至能不能借此做出一个实用的「AI 测谎仪」。

第三个则是可扩展监督,探索如何让 AI 协助人类去审查其他复杂 AI 的输出。此外,模型的诚实度、思维链的真实性以及对抗鲁棒性,也都在这次资助的范围之内。

拿钱门槛很低,连研究生都能分一杯羹

有意思的是,OpenAI 这次发钱的姿态放得特别低。

针对学术实验室、非营利机构以及个人研究者,他们开出的单笔资助额度在 10 万到 200 万美元之间。不仅流程大幅简化,承诺在申请截止后四周内就给答复,而且明确表示:申请人此前不需要有任何对齐研究经验,他们专门想吸引圈外的新鲜血液转行。

对于在读研究生,他们还设立了一个为期一年的超级对齐奖学金,单人打包 15 万美元。其中 7.5 万美元直接作为生活津贴,另外 7.5 万美元则是算力和研究经费。

在很多高校算力捉襟见肘的当下,这笔算力支持对年轻学者来说甚至比现金更诱人。

为什么重要

对于学术界和年轻研究者来说,这绝对是一张极具吸引力的入场券。长期以来,顶尖 AI 安全研究基本被头部大厂垄断,外部独立学者既缺钱更缺算力。现在 OpenAI 不仅给钱,还直接给算力额度,门槛放宽到不需要安全背景,非常值得有数学、理论计算机背景的研究人员趁机切入。

对整个行业而言,这看起来也是 OpenAI 一次极其聪明的借力打力。超级智能对齐是全世界最难的技术死角之一,单靠 OpenAI 自己的超级对齐团队,无论人力还是思路都容易陷入盲区。拿出区区 1000 万美元——这笔钱甚至还不如他们买一批芯片的零头——就能撬动全球学术界最聪明的大脑帮自己打工,性价比简直拉满。

但我们认为,这也从侧面坐实了一个让人有些担忧的现实:即便是大模型技术走在最前面的 OpenAI,在超人类系统的控制方案上,目前手里也没有成熟的解法。

现有的技术路线正在快速接近天花板,而行业还在拼命狂飙算力推进底模能力。如果底层对齐理论的研究速度赶不上模型智商的膨胀速度,未来行业将不得不面对一个能力失控但谁也搞不懂的黑盒。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选