Confluence Labsがステルス解除、ARC-AGI-2で97.9%を達成しコードを公開
AI研究所のConfluence Labsはステルスを解除し、推論ベンチマーク「ARC-AGI-2」の公開評価でタスクあたり11.77ドル、97.9%のスコアを達成したと発表した。LLMによるプログラム合成手法を採用しGitHubでコードを公開、今後は創薬や物理研究への応用を目指す。
ARC-AGI-2
ARC Prizeが新基準「ARC-AGI-2」公開、人間には簡単でもLLMは0点
ARC Prize Foundationが推論・適応能力を測る新ベンチマーク「ARC-AGI-2」と2025年大会を発表した。人間なら2回以内の試行で全員解けた課題に対し、純粋なLLMは正答率0%、公開推論モデルでも一桁台に低迷している。