跳到正文
IFAI

AI科研

ARC Prize 发布 ARC-AGI-3 基准:人类得满分,AI 却不足 1%

首次发布 传播指数 33

ARC Prize 推出智能体基准测试 ARC-AGI-3。与多数考察既有知识的基准不同,该测试专门评估 AI 系统的学习能力。测试显示人类得分达到 100%,而当前 AI 不足 1%,团队称这一巨大差距证明人类尚未实现 AGI。

ARC Prize 发布 ARC-AGI-3 基准:人类得满分,AI 却不足 1%
图:x.com

各大模型榜单纷纷被刷到接近满分的时候,ARC Prize 端出的这把新尺子,直接把现有的 AI 打回了原形。

ARC Prize 正式发布了名为 ARC-AGI-3 的全新基准测试,并表示这是目前全球唯一未被饱和的智能体智能评测。

人类拿满分,AI 连 1% 都不到

这套测试和主流评测最大的不同,在于究竟在测什么。

ARC Prize 指出,目前市面上绝大多数基准测试,本质上都在检验模型已经记住了多少既有知识;而 ARC-AGI-3 测的是系统现场学习的能力。

公布的测试结果对比悬殊:人类在测试中拿下了 100% 的满分,而现有的顶级 AI 模型的成绩全部低于 1%。

ARC Prize 认为,如此悬殊的成绩鸿沟直接证明了一件事,那就是通用人工智能至今根本没有实现。此外,这项基准从设计之初就考虑到了长期有效性,不会随着模型能力的微小提升而迅速失效。

为什么重要

我们认为,ARC-AGI-3 的出现给狂热的 AGI 宣传浇了一盆急需的冷水。

各家大厂都在宣传自家的模型如何刷爆各类专业考试,但这套测试揭示了一个残酷的现实:只要脱离了海量语料死记硬背的舒适区,面对从未见过的规则时,现有 AI 现场适应和自主学习的能力依然极其脆弱。

对研究人员和智能体开发者来说,这终于提供了一把短期内不会被刷爆的硬核度量衡。如果一个系统宣称具备了通用推理能力,ARC-AGI-3 会是一块极具说服力的试金石。

来源 (1)

  1. [1]
    @arcprize(在新标签页打开)原文x.com

每日 AI 内容精选