ARC Prize 发布 ARC-AGI-2 基准：人类轻松过关，纯 LLM 拿下 0 分

当你给一个十岁小孩看几张色块拼图规律时，他往往瞄两眼就能猜出下一张长什么样。但如果把同样的题目扔给今天最强的大模型，它可能会算到芯片发烫，最后交出一张白卷。

ARC Prize 正式发布了新一代基准测试 ARC-AGI-2，并同步启动 ARC Prize 2025 竞赛。这套测试的目的非常纯粹，就是要给如今疯狂刷榜的 AI 们泼一盆冷水，测出到底谁才具备真正的通用推理能力。

测试结果堪称残酷。纯大语言模型在 ARC-AGI-2 上的得分是整整齐齐的 0%，即便是目前公开的最前沿 AI 推理系统，得分也只有可怜的个位数百分比。

人类两下做完，AI 直接抓瞎

行业里绝大多数基准都在往「博士级难度」卷，比赛看谁能背下更多复杂的专业知识。ARC-AGI 走的却是完全相反的路子：专挑那些对人类来说显而易见、但对机器来说难如登天的网格推理题。

在 ARC-AGI-2 包含的所有任务中，每一个测试题都在严格的受控实验里，由至少两位人类测试者在两次尝试以内成功解出。而 AI 在测试里同样拥有两次尝试机会，表现却天差地别。

ARC Prize 团队给 AGI 设定了一个极其直观的度量标准：人类觉得简单而 AI 觉得困难的任务集合。只要这个差距没有归零，只要还能找到人类轻松搞定但 AI 毫无头绪的问题，就谈不上真正实现了 AGI。

早在 2019 年推出的第一代 ARC-AGI，主攻的是防止模型死记硬背。到了 2024 年底，OpenAI 拿出结合了推理合成引擎的 o3-preview，才算在第一代测试里完成了流体智能从 0 到 1 的跨越。

但 ARC Prize 团队指出，像 o3-preview 这类系统目前极度低效，在训练过程中想要适应新领域，依然离不开大量的人工监督。光靠堆算力、大力出奇迹，并不能自动长出通用智能。

逼着行业告别死记硬背

ARC-AGI-2 的训练集更像是在教你基础的小学数学符号，而最终的测试集却要求你直接去解代数方程。模型光靠把训练集背得滚瓜烂熟毫无意义，必须展现出在全新情境下快速迁移和学习新技能的适应能力。

这次同步开启的 ARC Prize 2025 竞赛，目标也很明确，就是想推动开源社区探索高效率、高通用性的全新系统架构，去攻克 ARC-AGI-2 这座高山。

主办方很清醒地意识到，AI 已经在围棋或者图像识别等特定领域超越了人类，但这只是狭隘的专项能力。通用智能最核心的本质，在于用极其有限的经验去归纳规律，并高效应用在从未见过的陌生环境里。

为什么重要

对于关注前沿技术的开发者和研究员来说，ARC-AGI-2 是目前最不容易被题库污染、也最难被刷榜套路攻破的标尺。如果你的团队正在捣鼓测试期推理、符号推理或者神经符号结合的方案，现在就值得把系统接入 ARC-AGI-2 跑一跑，它能瞬间戳破大模型靠记忆力伪造出来的假聪明。

对整个行业而言，这套基准正在重塑竞争的评价体系。我们认为，各大模型厂商此前把大量精力放在堆参数和合成博士级题库上，实际上掩盖了模型在简单直觉推理上的巨大缺陷。ARC-AGI-2 会反过来逼着前沿实验室和开源社区把目光从狂堆预训练算力，转向探索更高效的推理合成与测试期适应架构。

从做法上看，ARC 团队最聪明的地方在于抓住了「人类与 AI 的认知剪刀差」。他们没有去造更繁琐的学术考卷，而是用几百位真人测试做对照组，把人类先天的常识直觉当成唯一的锚点。隐患在于，这种基于离散网格的抽象逻辑测试，依然有可能会被某种针对网格搜索特化的算法针对性刷分，但这依然比市面上绝大多数靠堆语料就能通关的基准要诚实得多。