ARC Prizeが新基準「ARC-AGI-2」公開、人間には簡単でもLLMは0点
ARC Prize Foundationが推論・適応能力を測る新ベンチマーク「ARC-AGI-2」と2025年大会を発表した。人間なら2回以内の試行で全員解けた課題に対し、純粋なLLMは正答率0%、公開推論モデルでも一桁台に低迷している。
ARC Prize Foundationが推論・適応能力を測る新ベンチマーク「ARC-AGI-2」と2025年大会を発表した。人間なら2回以内の試行で全員解けた課題に対し、純粋なLLMは正答率0%、公開推論モデルでも一桁台に低迷している。