자율 AI 연구 프레임워크 Arbor 공개: '가설 트리'로 장기 실험 누적

현재의 AI 에이전트에게 버그 수정이나 간단한 코드 작성을 맡기면 꽤 훌륭하게 해냅니다. 하지만 며칠씩 걸리는 연구나 딥러닝 모델 최적화를 자율적으로 진행하게 두면 금세 길을 잃습니다. 몇 번 실패를 겪고 나면 방금 무엇을 배웠는지 잊어버리고, 이미 실패했던 시도를 제자리에서 반복하곤 합니다.

쉽게 말해, 지금까지의 AI 에이전트는 장기적인 연구를 끌고 갈 연속성이 부족했습니다.

연구진이 아카이브(arXiv) 논문을 통해 공개한 자율 연구 프레임워크 Arbor는 바로 이 기억 상실 문제를 해결하고자 등장했습니다. 핵심은 AI가 실험을 거듭하며 지식을 축적해 나가는 생생한 '가설 트리'를 구축하는 것입니다.

장기 총괄자와 일회용 연구 조교의 분업

Arbor는 단순히 컨텍스트 윈도우 크기를 늘리는 대신, 에이전트의 업무 구조를 재설계했습니다. 이 방식은 '가설 트리 정제(HTR)'라고 불립니다.

시스템은 두 축으로 나뉩니다. 맨 위에는 장수명 총괄 조율자가 자리 잡고 있습니다. 전체적인 연구 전략을 관리하며 어떤 가설을 먼저 파고들지 결정하는 연구 책임자 역할입니다.

그 아래에는 단수명 실행기들이 배치됩니다. 조율자가 새로운 아이디어를 내놓으면, 실행기가 독립된 샌드박스 작업 공간에 투입되어 단 하나의 실험만 수행하고 결과를 보고한 뒤 곧바로 폐기됩니다.

트리의 각 노드에는 가설과 코드 산출물뿐 아니라 실험 증거와 도출된 통찰이 차곡차곡 기록됩니다. 실험이 실패하더라도 그 원인이 트리 전체에 반영되어 다음 시도의 밑거름이 됩니다.

Claude Code 대비 2.5배 이상의 성능 향상

이러한 구조적 분업은 긴 호흡의 연구 과제에서 뚜렷한 격차를 만들어냈습니다.

인간의 단계별 개입이 없는 자율 최적화 환경에서 모델 훈련, 벤치마크 하네스 엔지니어링, 데이터 합성 등 6개 실제 연구 과제를 수행한 결과, Arbor는 6개 과제 모두에서 최고 성능을 기록했습니다. 동일한 자원 예산과 작업 인터페이스 조건에서 Claude Code와 Codex 대비 2.5배 이상의 평균 상대 이득을 달성했습니다.

머신러닝 경진대회 벤치마크인 MLE-Bench Lite에서는 GPT-5.5와 결합해 86.36%의 메달 획득률(Any Medal)을 기록하며 비교군 중 가장 뛰어난 수치를 보였습니다.

왜 중요한가

머신러닝 연구자와 엔지니어 관점에서 Arbor는 진정한 자율 연구 에이전트의 실현 가능성을 보여줍니다. 터미널 앞에서 10분마다 에이전트의 코드를 감시하는 대신, 큰 연구 목표 하나만 던져두고 백그라운드에서 며칠간 자율 실험을 돌리는 워크플로가 가능해집니다.

우리가 보기에 Arbor의 가장 영리한 점은 전략 수립과 실험 실행을 깔끔하게 분리했다는 점입니다. 실행기를 일회용으로 격리해 메인 컨텍스트가 에러 로그로 오염되는 것을 막고, 장기적인 탐색 전략만 온전히 트리에 보존했습니다.

다만 독립 인스턴스를 여러 개 띄우고 실험을 분기하며 반복해야 하는 만큼, 막대한 연산 비용과 토큰 소비는 현실적인 진입 장벽입니다. 그럼에도 일회성 코드 수정을 넘어 지식이 누적되는 체계적인 과학 탐구 시스템을 구축했다는 점에서 주목할 가치가 충분합니다.