ARC 프라이즈, 새 벤치마크 ARC-AGI-2 공개…사람은 쉬운데 LLM은 0%
ARC 프라이즈 재단이 추론 능력과 유동 지능을 측정하는 ARC-AGI-2 및 2025 대회를 공개했다. 인간은 2회 이내에 모두 푼 반면 순수 LLM은 0%, 공개 추론 모델도 한 자릿수 득점에 그쳤다. 스케일업만으로는 해결하기 힘든 역량 격차를 정조준했다.
ARC 프라이즈 재단이 추론 능력과 유동 지능을 측정하는 ARC-AGI-2 및 2025 대회를 공개했다. 인간은 2회 이내에 모두 푼 반면 순수 LLM은 0%, 공개 추론 모델도 한 자릿수 득점에 그쳤다. 스케일업만으로는 해결하기 힘든 역량 격차를 정조준했다.