ARC 프라이즈, 새 벤치마크 ARC-AGI-2 공개…사람은 쉬운데 LLM은 0%

열 살 안팎의 아이에게 몇 가지 색상 블록의 패턴을 보여주면, 대부분 몇 초 만에 규칙을 파악하고 다음 칸을 채워 넣습니다. 하지만 지금 가장 뛰어난 프론티어 AI 모델에게 똑같은 퍼즐을 건네면, 막대한 컴퓨팅 자원을 태우고도 엉뚱한 오답을 내놓기 일쑤입니다.

ARC Prize 재단은 차세대 AI 추론 벤치마크인 ARC-AGI-2를 공개하고 ARC Prize 2025 대회를 공식 시작했습니다. 겉보기용 점수 잔치에 가려진 인공지능의 진짜 적응력과 유동 지능을 시험대에 올리겠다는 취지입니다.

결과는 냉혹했습니다. 순수 거대언어모델(LLM)이 ARC-AGI-2에서 기록한 점수는 정확히 0%였으며, 현재 공개된 최고 수준의 최신 AI 추론 시스템조차 한 자릿수 점수대에 머물렀습니다.

인간에겐 당연한 직관, AI에겐 넘지 못할 벽

시중의 거의 모든 AI 벤치마크는 박사 학위 수준의 전문 지식을 외웠는지 시험하는 고난도 영역에 집중합니다. 반면 ARC-AGI는 정반대의 길을 택했습니다. 평범한 인간에게는 직관적으로 너무나 쉽지만, AI에게는 불가능에 가까운 작업들만 골라낸 것입니다.

수백 명을 대상으로 진행된 대조 실험에서 ARC-AGI-2에 포함된 모든 문제는 최소 2명 이상의 인간 참가자가 단 2회 이내의 시도만으로 정답을 맞혔습니다. AI에게도 똑같이 문제당 두 번의 기회가 주어지지만, 인간 수준의 적응력 근처에도 가지 못했습니다.

ARC Prize 재단은 AGI를 측정하는 기준으로 이 격차를 제시합니다. 인간에게 쉽고 AI에게 어려운 작업들의 간극이 완전히 사라져 제로가 될 때, 비로소 진정한 AGI에 도달했다는 정의입니다.

2019년에 나온 1세대 ARC-AGI는 단순 암기형 딥러닝을 걸러내기 위해 만들어졌습니다. 2024년 말 OpenAI가 추론 합성 엔진을 결합한 o3-preview를 통해 0에서 1로의 도약을 보여주긴 했지만, ARC 측은 이러한 시스템이 여전히 지나치게 비효율적이고 학습 과정에서 막대한 인간의 감독을 요구한다고 지적했습니다. ARC-AGI-2는 여기서 기준을 크게 높여, 고도의 적응성과 뛰어난 효율성을 동시에 입증할 것을 요구합니다.

왜 중요한가

새로운 추론 구조나 테스트 타임 적응 기술을 연구하는 개발자에게 ARC-AGI-2는 데이터 오염과 암기 편법이 통하지 않는 가장 확실한 검증대입니다. 모델이 방대한 지식을 단순히 뱉어내는 것인지, 아니면 낯선 규칙을 즉석에서 학습할 수 있는지 확인하고 싶다면 지금 바로 도입해 테스트해 볼 가치가 충분합니다.

업계 전반으로 보면, 파라미터 크기만 키우면 모든 것이 해결된다는 스케일링 맹신에 제동을 거는 계기가 될 것입니다. 우리가 보기에 기존 빅테크들은 박사급 시험 문제에 모델을 맞추며 기초적인 유동 추론 결함을 가려왔습니다. ARC-AGI-2는 프론티어 랩과 오픈소스 진영 모두에게 무작정 컴퓨팅을 쏟아붓는 방식 대신, 적은 경험으로도 새로운 기술을 효율적으로 습득하는 근본적인 아키텍처 혁신을 강제하고 있습니다.

ARC 팀의 방식이 영리한 이유는 인간의 보편적 인지 능력을 절대적인 기준점으로 삼았다는 점입니다. 물론 2차원 그리드 탐색에만 특화된 꼼수 알고리즘이 등장할 위험은 상존하지만, 점수 인플레이션으로 신뢰를 잃어버린 다른 벤치마크들에 비해 AGI로 가는 현실적인 거리를 가장 솔직하게 보여주는 나침반 역할을 하고 있습니다.