跳到正文
IFAI

行业动态

Epoch AI 迟报 OpenAI 资助:数学基准遭质疑,贡献者不知情

首次发布 传播指数 42

AI 评测机构 Epoch AI 因推迟披露接受 OpenAI 资助开发数学基准 FrontierMath 而引发争议。该测试曾用于展示 OpenAI 旗舰模型 o3,但多位编写题目的数学家事前对资助以及 OpenAI 提前查看题目的特权完全不知情。

Epoch AI 迟报 OpenAI 资助:数学基准遭质疑,贡献者不知情
图:techcrunch.com

如果一场高难度考试的出卷人暗中接受了某位考生的资助,还让这位考生提前把卷子和答案翻了个遍,这门考试的结果大概没人敢信。眼下,AI 圈的顶级基准测试就卷入了这样一场信誉危机。

1 月 19 日据外媒报道,AI 评测非营利机构 Epoch AI 迟迟未公开接受 OpenAI 资助一事,在社区引发轩然大波。争议的核心在于其开发的专家级数学基准 FrontierMath。OpenAI 在去年底大张旗鼓展示新旗舰模型 o3 时,正是拿它在这套考卷上的惊人表现作为最大卖点。

问题在于,直到 12 月 20 日 o3 亮相当天,Epoch AI 才正式披露 OpenAI 不仅出资支持了 FrontierMath 的开发,还提前掌握了大量题目与解答。

题库贡献者全被蒙在鼓里

这番迟到的坦白迅速引来内部反弹。在论坛 LessWrong 上,一位化名为 Meemi 的 Epoch AI 外包人员发帖指责项目沟通极不透明,认为出题人员有权在知晓成果用途的前提下决定是否接单。

斯坦福大学数学博士生 Carina Hong 也在社交平台 X 上公开爆料。她表示,已有 6 位为 FrontierMath 做出重大贡献的数学家向她证实,他们此前对 OpenAI 拥有该基准的独占特权完全不知情。其中多数人明确表态,如果当初知道有这层内幕,很可能根本不会参与出题。

面对舆论压力,Epoch AI 联合创始人兼副主任 Tamay Besiroglu 承认机构确实「犯了错」。他解释说,合同限制了公开合作的时机,直到 o3 发布前后才被允许披露。但他坦承,团队本该在谈判时态度更强硬,将对贡献者的透明度作为不可退让的条款。

口头协议与未验证的跑分

为了挽回公信力,Besiroglu 坚称评测的客观性没有受损。他透露,虽然 OpenAI 提前看到了题目,但双方有一项「口头协议」,约束 OpenAI 不得将 FrontierMath 的题目用于日常模型训练,也就是防止「对着考卷背答案」。此外,Epoch AI 还保留了一套从未公开的隔离测试集用于独立验证。

然而,这番澄清很快被自家首席数学家泼了一盆冷水。Elliot Glazer 随后在 Reddit 上发帖透露,Epoch AI 迄今为止尚未独立验证过 OpenAI o3 的 FrontierMath 成绩。

Glazer 表示,他个人倾向于相信 OpenAI 的分数属实,且对方没有动力在内部测试中造假,但在机构完成独立的验证流程之前,他们无法为这一成绩做出担保。

为什么重要

在我们看来,这起风波直接戳中了当下 AI 评测最脆弱的软肋:独立性与资金来源的天然冲突。

要设计出足以难倒前沿大模型的专家级考卷,需要雇佣顶尖学者投入大量脑力,成本极其昂贵。非营利研究机构缺钱,转向巨头寻求赞助本无可厚非,但以「提前看题」和「保密协议」作为交换代价,无异于直接透支了基准本身的公正性。

更让人难以接受的是所谓的防作弊机制居然依托于「口头协议」。在前沿模型商业利益数以十亿美元计的竞争中,仅凭君子协定就指望大厂不在预训练或微调中污染数据,在外界看来未免过于天真。

对于开发者和行业而言,如果权威基准在公信力上打了折扣,巨头发布的跑分宣传就会退化为单纯的公关自嗨。这起事件给所有评测机构提了个醒:向大厂拿钱可以,但一旦让出独家特权、剥夺出题者的知情权,丢掉的就是整个社区的信任底线。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选