跳到正文
IFAI

大模型

OpenAI 购买 FrontierMath 验证器:自动检验模型生成的数学解法

首次发布 传播指数 45

Epoch AI 宣布 OpenAI 购买了 FrontierMath: Open Problems 验证器访问权限。该基准汇集了极高难度的数学难题,此举让 OpenAI 能够自动核验模型生成的解法是否严谨有效,为高阶推理能力的评估提供更可靠的支撑。

OpenAI 购买 FrontierMath 验证器:自动检验模型生成的数学解法
图:x.com

AI 要去解最顶尖的数学难题,最头疼的往往不是怎么把答案写出来,而是写出来之后,谁能说得准它到底对不对。

Epoch AI 透露,OpenAI 已经购买了 FrontierMath: Open Problems 验证器的访问权限。有了这套验证器,OpenAI 就能自动检查模型生成的数学解法在逻辑和数学上是否成立。

FrontierMath 本身是 Epoch AI 推出的一套极难数学基准,专门用来挑战最前沿的 AI 系统。

给数学大模型配上自动判卷机

评估这种超高难度的开放式数学题,一直是个苦差事,过去往往得靠顶尖数学家花大量时间肉眼审查。

现在 OpenAI 拿到了验证器的接口,就能在测试高级数学推理能力时,更可靠、更大规模地校验模型输出,省去了大量人力消耗。

为什么重要

对于专注于强推理的模型来说,可靠的反馈信号就是生命线。如果系统无法自动判断一个证明是否有效,强化学习和能力评估就会迅速碰壁。

我们认为,OpenAI 这一步走得相当务实:与其花大把时间自己从头搭一套顶尖数学的验证基准,不如直接向专业机构买成熟工具的访问权。

这也看起来表明,行业对前沿模型的竞争,正在从单纯看公开跑分,转向用严格的自动化验证来啃真正困难的复杂推理。

来源 (1)

  1. [1]
    @EpochAIResearch(在新标签页打开)原文x.com

每日 AI 内容精选