ARC Prizeが「ARC-AGI-3」公開：人間は100%、AIは1%未満

主要なAIベンチマークで満点近いスコアが乱発されるなか、ARC Prizeが公開した新たなテストが現状を冷徹に突きつけている。

ARC Prizeは、自律知能を測定する最新ベンチマーク「ARC-AGI-3」を発表した。同団体は、これを現在世界で唯一「飽和していない」エージェンティック・インテリジェンス向けベンチマークと位置づけている。

人間は100%、AIは1%未満

このテストが従来と根本的に異なるのは、測定の対象だ。

大半のベンチマークはモデルが「すでに知っている知識」を測るが、ARC-AGI-3はAIシステムが未知の状況で「どのように学習するか」を評価する。

その結果の開きは極端だ。人間が100%のスコアを達成する一方で、現行のAIモデルは1%未満にとどまった。ARC Prizeは、この埋めがたい格差こそがAGIが未だ達成されていない証拠だと指摘し、今後のモデル進化にも耐えうる測定基準として設計したと説明している。

なぜ重要か

ARC-AGI-3は、過熱するAGI言説に対する極めて有効なブレーキになると考えられる。

既存のデータを記憶して解くテストでは人間超えをアピールできても、未知のルールに適応してその場で学習する能力において、現行のAIは依然として人間と勝負にすらなっていない。

研究者や開発者にとっては、数カ月でスコアがインフレして役に立たなくなることのない、本物の汎用知能を測る貴重な物差しが登場した意味は大きい。