跳到正文
IFAI

行业动态

OpenAI 捐资 750 万美元支持独立 AI 对齐研究

首次发布 传播指数 39

OpenAI 宣布向 The Alignment Project 捐资 750 万美元,用于资助第三方机构开展 AI 安全与对齐研究。该基金由英国人工智能安全研究所设立,总额超 2700 万英镑。单项课题资助 5 万至 100 万英镑,OpenAI 不参与评审筛选。

OpenAI 捐资 750 万美元支持独立 AI 对齐研究
图:openai.com

各大前沿大模型实验室平时都在闭门造车,研究怎么让自家 AI 听话。但问题是,如果他们现在的对齐路线从一开始就走偏了呢?

OpenAI 宣布向「对齐项目」(The Alignment Project)捐赠 750 万美元。这个项目是由英国人工智能安全研究所(UK AISI)发起的全球独立 AI 对齐研究基金,折合英镑大约是 560 万。

算上 OpenAI 这笔钱,该基金总规模已经超过 2700 万英镑。资金由公共部门、慈善机构以及工业界共同出资,OpenAI 这笔赠款的管理工作则交给了文艺复兴慈善机构(Renaissance Philanthropy)。

不插手评审,只负责掏钱

官方数据显示,这是迄今为止全球规模最大的独立 AI 对齐专项资助行动之一。

基金支持的单个项目金额通常在 5 万到 100 万英镑之间。除了现金资助,入选团队还可以按需获得算力资源以及行业专家的支持。

有意思的是,OpenAI 明确表示自己不会搞新的遴选流程,也不会干预现有的评审。这笔钱的作用很单纯,就是直接扩大当前轮次的资助名额,让更多已经通过专家评审的高质量项目能拿到钱。

UK AISI 作为英国科学、创新和技术部(DSIT)旗下的政府研究机构,本身就聚焦于严重的 AI 风险。他们手里已经有一套现成的跨部门协作机制,以及大量经过同行评审的提案储备。

鸡蛋不能放在同一个篮子里

OpenAI 承认,像他们这样的前沿实验室虽然有海量算力和最新模型,但在很多前沿探索上并没有绝对优势。

目前各家大厂的内部对齐,大多依赖于渐进式部署,也就是边做大模型、边加强护栏,把对齐死死捆绑在工程落地线上。可万一未来的技术路线突变,现有的主流方法扩展不下去,整个行业可能都会被带进死胡同。

因此,该基金要支持的是各种天马行空、甚至完全不在大厂技术路线图上的探索。研究方向涵盖了计算复杂性理论、经济学与博弈论、认知科学,以及信息论与密码学等多元交叉领域。

为什么重要

对于从事 AI 安全、理论计算机或认知科学的学术界研究者来说,这无疑是一场及时雨。独立学者最缺的就是资金和顶尖算力,现在单笔最高 100 万英镑的资助加算力倾斜,门槛比单纯给大厂打工做安全评估要开放得多。只要手头有扎实的理论框架,现在就是提交提案的好时机。

对整个行业而言,安全研究长期被少数几家大模型巨头垄断,这种局面本身就存在系统性风险。OpenAI 选择把钱交给有政府背景的 UK AISI,并拉来第三方机构代管,在操作上显得相当聪明。这既规避了「既当选手又当裁判」的利益冲突指责,又能顺理成章地将外部的理论突破纳入自己的技术后备库。

不过在我们看来,隐患也依然存在。750 万美元对比前沿大模型的训练成本,只能算是一笔零花钱。外部独立团队就算在博弈论或密码学上做出了漂亮的理论证明,缺少大厂内部第一手的前沿权重和系统权限,这些成果最终能不能反哺到工业级的大模型底层,依然需要画一个问号。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选