엔비디아 범용 에이전트 AVO, ARC-AGI-3서 183개 레벨 완파

프론티어 AI 모델을 진정한 자율 에이전트로 만드는 핵심은 모델 자체의 체급보다 이를 둘러싼 시스템 설계에 있을지도 모릅니다.

NVIDIA는 자체 연구 프로젝트인 AVO(Agentic Variation Operators) 아키텍처를 활용해 대화형 추론 벤치마크인 ARC-AGI-3 공개 세트의 25개 환경, 183개 레벨을 모두 통과하며 100% 점수를 달성했다고 발표했습니다. 고추론 설정에서 단독 모델 기준 약 30% 수준에 머물렀던 Claude Opus 5의 성능을 완벽한 성공률로 끌어올린 셈입니다.

7일간 GPU 코드를 짜던 구조 그대로 퍼즐 환경에 투입

AVO는 원래 게임 퍼즐을 풀기 위해 만든 시스템이 아닙니다. 극도의 전문 지식이 필요한 GPU 커널 최적화 작업을 위해 개발되었습니다.

AVO는 NVIDIA DGX B200 시스템에서 무려 7일 동안 쉬지 않고 가동되며 500개 이상의 최적화 방향을 탐색하고 40개의 완성된 커널 버전을 만들어냈습니다. 그 결과 멀티헤드 어텐션 커널 성능을 FlashAttention-4 대비 최대 10.5%, cuDNN 대비 최대 3.5% 끌어올렸고, 이후 단 30분 만에 이를 GQA 구조로 변환해냈습니다.

연구팀은 이 AVO의 핵심 아키텍처를 조금도 수정하지 않고 곧바로 ARC-AGI-3 벤치마크에 연결했습니다.

ARC-AGI-3는 사전 규칙 설명도, 조작법도, 목표조차 주어지지 않는 미지의 환경에서 AI가 직접 행동을 취해보며 피드백을 얻고 목표를 유추해 단계를 깨야 하는 고난도 평가입니다. 로우레벨 GPU 프로그래밍과 낯선 게임 플레이는 겉보기에 달라 보이지만, 불완전한 단서에서 가설을 세우고 도구를 실행해 피드백을 반영하며 장기 작업을 완수하는 본질적 루프는 완전히 같았습니다.

텍스트 그리드와 방황을 막는 슈퍼바이저

접근 방식도 남달랐습니다. 기존 VISTA 시스템이 512x512 렌더링 이미지를 주로 사용한 것과 달리, AVO는 각 상태를 64x64 텍스트 그리드로만 변환해 모델에 전달했습니다. 비전 토큰은 전혀 쓰지 않았습니다.

AVO가 183개 레벨을 클리어하는 데 사용한 행동 수는 6,624회로, 동일한 Claude Opus 5를 사용한 VISTA의 7,542회보다 약 12% 적었습니다.

비결은 영구 메모리와 슈퍼바이저 모듈입니다. 이전 시도의 결과와 누적된 추론을 유지해 탐색의 중복을 막고, 슈퍼바이저가 에이전트의 진행 상황을 감시하다가 헛바퀴를 돌거나 정체되면 다른 전략으로 개입해 방향을 틀어줍니다. 한편 GPT-5.6 Sol과 교차 테스트했을 때는 Sol이 실제 소요 시간 면에서 빨랐고, Opus 5는 행동 횟수 면에서 더 효율적인 모습을 보였습니다.

왜 중요한가

이번 성과는 파운데이션 모델의 단독 성능보다 이를 뒷받침하는 에이전트 하네스 구조가 장기 자율 작업의 성패를 가른다는 사실을 입증했습니다.

개발자 관점에서는 당장 차세대 초대형 모델이 나오기를 기다리지 않더라도 상태 보존, 장기 기억 관리, 교착 상태 감시 시스템을 정교하게 구축하면 기존 모델로도 30%짜리 성공률을 100%까지 끌어올릴 수 있다는 실질적인 힌트를 줍니다.

산업적으로는 NVIDIA가 자사 하드웨어와 자율 에이전트를 결합해 강력한 기술 장벽을 쌓고 있다는 점을 보여줍니다. DGX B200 같은 초고가 하드웨어의 소프트웨어 최적화를 AI가 7일 동안 자율적으로 진행해 인간 전문가의 베이스라인을 뛰어넘는다면, 칩 생태계의 성능 개선 속도는 기하급수적으로 빨라질 수밖에 없습니다.

작업별 맞춤형 세계 모델을 억지로 설계하는 대신 범용 탐색 루프에 집중한 접근은 매우 영리해 보입니다. 다만 이처럼 수천 번의 상호작용과 장기 컨텍스트를 유지하는 실행 루프는 일반 개발자가 당장 프로덕션에 도입하기에는 호출 비용과 인프라 장벽이 여전히 높다는 한계가 있습니다.