ARC Prizeが新基準「ARC-AGI-2」公開、人間には簡単でもLLMは0点

子どもの前に色のついたブロックの並び替えパズルを置けば、数秒でルールを見抜き、次のマスを埋めてみせるでしょう。しかし、同じ問題を現代最高峰のAIに見せると、膨大な計算リソースを浪費した挙げ句、まったく見当違いの答えを出してしまいます。

ARC Prizeは新たなベンチマーク「ARC-AGI-2」を発表し、同時に「ARC Prize 2025」コンペティションの開幕を告知しました。目的は極めて明快で、現在のAIが単なる暗記を超えて真の推論力と汎用知能を備えているかを厳密に測ることです。

その結果は残酷なものでした。純粋な大規模言語モデル（LLM）のARC-AGI-2におけるスコアは完全に0パーセント。現在公開されている最先端のAI推論システムでさえ、わずか1桁台のパーセンテージにとどまっています。

人間には簡単、AIには極限の難問

世の中にあるAIベンチマークの多くは、博士号レベルの専門知識をどれだけ蓄えているかという「超人的スキル」を競わせがちです。しかしARC-AGIはその真逆を行き、人間にとっては直感的に解けるほど簡単なのに、AIにとっては極めて難しいタスクに焦点を当てています。

ARC-AGI-2に収録されたすべてのタスクは、数百人の参加者を対象とした実験において、少なくとも2人の人間が2回以内の試行で正解できたものです。AIにも同じく2回の回答権が与えられますが、結果は惨敗でした。

ARC Prize財団は、AGIの定義を「人間にとって容易で、AIにとって困難なタスク群のギャップ」としています。このギャップが完全にゼロになり、AIを困らせるタスクが見当たらなくなった瞬間こそが、真のAGI達成を意味します。

2019年に登場した初代ARC-AGI-1では、2024年後半にOpenAIのo3-previewが推論合成エンジンを組み合わせることで大きな前進を見せました。しかし、そうしたシステムは極めて非効率的であり、新たな領域に適応するには依然として膨大な人間の監督を必要とします。ARC-AGI-2は、高い適応力だけでなく、限られた経験から効率的にスキルを獲得できるかを問う設計になっています。

なぜ重要か

研究者や開発者にとって、ARC-AGI-2はモデルの「見せかけの賢さ」を一瞬で見破るための最も信頼できるリトマス試験紙です。テスト時の推論強化や神経記号アプローチを模索しているチームなら、既存のベンチマークで満点を取るよりも今すぐこのテストに挑戦する価値があります。

業界全体への影響として、単にパラメータ規模を拡大するだけのスケーリング信仰に強烈な見直しを迫ることになります。博士レベルの試験問題を丸暗記してスコアを盛る競争は、AIが初見のルールに適応できないという本質的な弱点を隠してきました。ARC-AGI-2の登場により、フロンティアラボもオープンソース陣営も、計算効率と柔軟な適応力を両立させる新しいアーキテクチャの探求へ舵を切らざるを得なくなると私たちは考えます。

ARCアプローチの巧妙さは、人間の常識的直感を基準点に据え、学習データの暗記によるチートを徹底的に排除した点にあります。グリッド状の抽象パズルに特化した探索アルゴリズムで一時的にハックされる懸念は残るものの、形骸化した既存のリーダーボードに比べれば、AGIへの距離を最も誠実に突きつける指標と言えます。