콘플루언스 랩스 스텔스 해제: ARC-AGI-2 97.9% 달성 및 코드 오픈소스화

콘플루언스 랩스(Confluence Labs)가 난해한 추론 벤치마크인 ARC-AGI-2를 해결하는 솔버를 깃허브에 오픈소스로 공개했습니다. 공개 평가 기준 정확도는 97.9%이며, 과제당 처리 비용은 11.77달러입니다.

이 도구는 LLM 기반 프로그램 합성(Program Synthesis) 방식을 사용하여, 몇 가지 예시만으로 미지의 패턴 변환 규칙을 코드로 작성해 문제를 풉니다.

작동 방식

ARC-AGI-2는 소수의 예시를 보고 새로운 논리 규칙을 도출하는 능력을 측정하는 벤치마크입니다. 불과 1년 전만 해도 최고 성능의 파운데이션 모델조차 한 자릿수 점수에 머물렀던 대표적인 난제입니다.

콘플루언스 랩스는 대규모 모델을 새로 사전학습하는 대신, LLM이 가장 잘하는 코드 작성 능력과 이산 프로그램 탐색을 결합하는 방식을 택했습니다.

먼저 격자 변환 문제를 LLM의 학습 데이터 분포와 가장 유사한 형태로 재구성합니다. 그런 다음 모델이 해당 규칙을 설명하는 프로그램을 직접 작성하도록 유도합니다.

핵심은 장기적인 탐색 루프입니다. 모델이 단번에 답을 내지 못하더라도 이전 작업 내용을 바탕으로 코드를 계속 수정할 수 있도록 지원하며, 명확한 검증 기준을 제공해 모델 스스로가 정답 여부를 측정하며 코드를 디버깅하도록 설계했습니다.

공개 범위와 이용 방법

솔버의 전체 구현 코드는 깃허브(confluence-labs/arc-agi-2)에 공개되어 있어 누구나 97.9%의 벤치마크 결과를 직접 재현해 볼 수 있습니다.

브렌트 버딕(Brent Burdick)이 설립하고 와이콤비네이터의 지원을 받은 연구팀은 이 접근법을 하드웨어 엔지니어링, 신약 개발, 물리 연구 등 물리적 실험 비용이 많이 들어 데이터가 부족한 분야로 확장할 계획입니다.

왜 중요한가

추론 에이전트나 자동화된 코드 합성을 연구하는 엔지니어라면 직접 확인해볼 만한 가치가 충분한 프로젝트입니다. 천문학적인 비용으로 새 모델을 학습시키지 않고도, 정교한 탐색 구조와 검증 피드백만으로 모델의 추론 한계를 크게 끌어올릴 수 있음을 보여주기 때문입니다.

또한 과제당 12달러 미만의 비용으로 ARC-AGI-2 벤치마크가 포화 상태에 이르렀다는 것은, 추상적 퍼즐 풀이 경쟁이 일단락되었음을 의미합니다. 이제 중요한 것은 이러한 가설 생성 루프가 노이즈가 많은 실제 자연과학과 하드웨어 설계 현장에서도 유효한 성과를 낼 수 있는지 여부입니다.