跳到正文
IFAI

AI科研

ARC Prize 釋出 ARC-AGI-3 基準:人類得滿分,AI 卻不足 1%

首次發布 傳播指數 33

ARC Prize 推出智慧體基準測試 ARC-AGI-3。與多數考察既有知識的基準不同,該測試專門評估 AI 系統的學習能力。測試顯示人類得分達到 100%,而當前 AI 不足 1%,團隊稱這一巨大差距證明人類尚未實現 AGI。

ARC Prize 釋出 ARC-AGI-3 基準:人類得滿分,AI 卻不足 1%
圖:x.com

各大模型榜單紛紛被刷到接近滿分的時候,ARC Prize 端出的這把新尺子,直接把現有的 AI 打回了原形。

ARC Prize 正式釋出了名為 ARC-AGI-3 的全新基準測試,並表示這是目前全球唯一未被飽和的智慧體智慧評測。

人類拿滿分,AI 連 1% 都不到

這套測試和主流評測最大的不同,在於究竟在測什麼。

ARC Prize 指出,目前市面上絕大多數基準測試,本質上都在檢驗模型已經記住了多少既有知識;而 ARC-AGI-3 測的是系統現場學習的能力。

公佈的測試結果對比懸殊:人類在測試中拿下了 100% 的滿分,而現有的頂級 AI 模型的成績全部低於 1%。

ARC Prize 認為,如此懸殊的成績鴻溝直接證明了一件事,那就是通用人工智慧至今根本沒有實現。此外,這項基準從設計之初就考慮到了長期有效性,不會隨著模型能力的微小提升而迅速失效。

為什麼重要

我們認為,ARC-AGI-3 的出現給狂熱的 AGI 宣傳澆了一盆急需的冷水。

各家大廠都在宣傳自家的模型如何刷爆各類專業考試,但這套測試揭示了一個殘酷的現實:只要脫離了海量語料死記硬背的舒適區,面對從未見過的規則時,現有 AI 現場適應和自主學習的能力依然極其脆弱。

對研究人員和智慧體開發者來說,這終於提供了一把短期內不會被刷爆的硬核度量衡。如果一個系統宣稱具備了通用推理能力,ARC-AGI-3 會是一塊極具說服力的試金石。

來源 (1)

  1. [1]
    @arcprize(在新分頁開啟)原文x.com

每日 AI 內容精選