ARC Prize 釋出 ARC-AGI-2 基準：人類輕鬆過關，純 LLM 拿下 0 分

當你給一個十歲小孩看幾張色塊拼圖規律時，他往往瞄兩眼就能猜出下一張長什麼樣。但如果把同樣的題目扔給今天最強的大模型，它可能會算到晶片發燙，最後交出一張白卷。

ARC Prize 正式釋出了新一代基準測試 ARC-AGI-2，並同步啟動 ARC Prize 2025 競賽。這套測試的目的非常純粹，就是要給如今瘋狂刷榜的 AI 們潑一盆冷水，測出到底誰才具備真正的通用推理能力。

測試結果堪稱殘酷。純大語言模型在 ARC-AGI-2 上的得分是整整齊齊的 0%，即便是目前公開的最前沿 AI 推理系統，得分也只有可憐的個位數百分比。

人類兩下做完，AI 直接抓瞎

行業裡絕大多數基準都在往「博士級難度」卷，比賽看誰能背下更多複雜的專業知識。ARC-AGI 走的卻是完全相反的路子：專挑那些對人類來說顯而易見、但對機器來說難如登天的網格推理題。

在 ARC-AGI-2 包含的所有任務中，每一個測試題都在嚴格的受控實驗裡，由至少兩位人類測試者在兩次嘗試以內成功解出。而 AI 在測試裡同樣擁有兩次嘗試機會，表現卻天差地別。

ARC Prize 團隊給 AGI 設定了一個極其直觀的度量標準：人類覺得簡單而 AI 覺得困難的任務集合。只要這個差距沒有歸零，只要還能找到人類輕鬆搞定但 AI 毫無頭緒的問題，就談不上真正實現了 AGI。

早在 2019 年推出的第一代 ARC-AGI，主攻的是防止模型死記硬背。到了 2024 年底，OpenAI 拿出結合了推理合成引擎的 o3-preview，才算在第一代測試裡完成了流體智慧從 0 到 1 的跨越。

但 ARC Prize 團隊指出，像 o3-preview 這類系統目前極度低效，在訓練過程中想要適應新領域，依然離不開大量的人工監督。光靠堆算力、大力出奇跡，並不能自動長出通用智慧。

逼著行業告別死記硬背

ARC-AGI-2 的訓練集更像是在教你基礎的小學數學符號，而最終的測試集卻要求你直接去解代數方程。模型光靠把訓練集背得滾瓜爛熟毫無意義，必須展現出在全新情境下快速遷移和學習新技能的適應能力。

這次同步開啟的 ARC Prize 2025 競賽，目標也很明確，就是想推動開源社群探索高效率、高通用性的全新系統架構，去攻克 ARC-AGI-2 這座高山。

主辦方很清醒地意識到，AI 已經在圍棋或者影像識別等特定領域超越了人類，但這只是狹隘的專項能力。通用智慧最核心的本質，在於用極其有限的經驗去歸納規律，並高效應用在從未見過的陌生環境裡。

為什麼重要

對於關注前沿技術的開發者和研究員來說，ARC-AGI-2 是目前最不容易被題庫汙染、也最難被刷榜套路攻破的標尺。如果你的團隊正在搗鼓測試期推理、符號推理或者神經符號結合的方案，現在就值得把系統接入 ARC-AGI-2 跑一跑，它能瞬間戳破大模型靠記憶力偽造出來的假聰明。

對整個行業而言，這套基準正在重塑競爭的評價體系。我們認為，各大模型廠商此前把大量精力放在堆引數和合成博士級題庫上，實際上掩蓋了模型在簡單直覺推理上的巨大缺陷。ARC-AGI-2 會反過來逼著前沿實驗室和開源社群把目光從狂堆預訓練算力，轉向探索更高效的推理合成與測試期適應架構。

從做法上看，ARC 團隊最聰明的地方在於抓住了「人類與 AI 的認知剪刀差」。他們沒有去造更繁瑣的學術考卷，而是用幾百位真人測試做對照組，把人類先天的常識直覺當成唯一的錨點。隱患在於，這種基於離散網格的抽象邏輯測試，依然有可能會被某種針對網格搜尋特化的演算法針對性刷分，但這依然比市面上絕大多數靠堆語料就能通關的基準要誠實得多。