ARC Prize, 학습 능력 평가 'ARC-AGI-3' 공개…인간 100%·AI 1% 미만

기존 AI 벤치마크들이 잇달아 만점에 가까워지며 변별력을 잃어가는 가운데, ARC Prize가 AI의 현주소를 보여주는 새로운 척도를 내놓았다.

ARC Prize는 에이전트 지능을 측정하는 벤치마크인 ARC-AGI-3를 공개하며, 이것이 현재 전 세계에서 유일하게 포화되지 않은 지표라고 설명했다.

인간은 100%, AI는 1% 미만

핵심적인 차이는 무엇을 측정하느냐에 있다.

대다수 기존 벤치마크가 모델이 사전 학습으로 이미 알고 있는 지식을 시험하는 반면, ARC-AGI-3는 AI 시스템이 새로운 규칙을 어떻게 학습하는지 그 과정 자체를 평가한다.

초기 결과는 극단적인 격차를 드러냈다. 인간은 100% 점수를 기록한 반면, 현존하는 AI 시스템들의 점수는 1% 미만에 머물렀다. ARC Prize는 이러한 현격한 차이가 인공일반지능(AGI)이 아직 달성되지 않았음을 증명한다고 강조하며, 모델 역량이 발전하더라도 장기적으로 변별력을 유지하도록 설계했다고 덧붙였다.

왜 중요한가

ARC-AGI-3는 업계 전반에 퍼진 조기 AGI 달성론에 명확한 사실 확인을 제공했다고 생각된다.

수많은 테크 기업이 기존 시험을 통과했다며 지능을 과시하지만, 인터넷 데이터를 암기해 풀 수 없는 완전히 낯선 환경에 놓였을 때 현행 AI 아키텍처의 적응력은 여전히 극히 미흡하다.

연구진과 에이전트 개발자들에게는 단기간에 점수 인플레이션으로 쓸모없어지지 않을, 진짜 지능을 검증할 수 있는 드문 기준점이 생긴 셈이다.