전자동 연구 에이전트 'The AI Scientist', 국제학술지 네이처 정식 게재

대규모 언어 모델에 연구 주제 하나만 던져주면 관련 논문을 탐색하고, 가설을 세워 코드를 짜고, GPU를 돌려 실험한 뒤 깔끔한 LaTeX 논문까지 한 번에 뽑아내는 시대가 열렸습니다.

사카나 AI(Sakana AI)가 브리티시컬럼비아대(UBC), 벡터 연구소, 옥스퍼드대와 1년 반 동안 공동 개발한 전자동 연구 시스템 'The AI Scientist'가 세계적 국제학술지 네이처(Nature) 본지에 정식 게재됐습니다.

학회 블라인드 심사를 뚫어낸 기계 과학자

The AI Scientist는 기초 모델을 기반으로 기계학습 연구의 전 주기를 자율 수행하도록 설계된 멀티 에이전트 시스템입니다.

시스템은 크게 두 가지 방식으로 구동됩니다. 기존 베이스라인 코드를 주고 파생 실험을 진행하는 템플릿 기반 모드와, 아무런 코드 없이 처음부터 실험 환경을 구축하는 템플릿 프리 모드입니다. 명확한 실험 목표가 있을 때는 전자, 개방형 탐색이 필요할 때는 후자가 쓰입니다.

에이전트는 병렬 트리 탐색을 통해 실험 코드를 짜고 실행하며, 시각 멀티모달 모델을 통해 자신이 생성한 그래프 결과물까지 점검한 뒤 완벽한 규격의 LaTeX 논문으로 작성해냅니다.

실전 검증도 거쳤습니다. 연구진은 시스템이 생성한 미수정 논문 3편을 ICLR 2025 워크숍에 블라인드 제출했고, 이 중 1편이 평균 6.33점(심사위원 점수 6, 7, 6)을 받아 합격선을 넘겼습니다. 이는 사람이 작성한 투고 논문의 55%보다 높은 점수였습니다. 사전에 학회 측과 맺은 합의에 따라 해당 논문은 합격 판정 후 자진 철회됐습니다.

논문 심사까지 자동화, '과학 확장 법칙' 확인

AI가 논문을 쏟아내도 사람이 일일이 읽고 검증해야 한다면 병목이 생깁니다. 연구팀은 아예 '자동 심사위원' 시스템도 구축했습니다.

NeurIPS 공식 가이드라인을 토대로 5개의 독립된 심사 의견을 종합 판정하도록 설계한 뒤 OpenReview의 실제 수천 개 데이터와 대조했습니다. 그 결과 균형 정확도 69%로 사람과 대등한 수준을 보였고, 유명한 NeurIPS 2021 인간 심사위원 일치도 실험보다 높은 F1 점수를 기록했습니다.

더 주목할 부분은 '연구 품질의 확장 법칙'입니다. 두뇌 역할을 하는 기반 모델을 상위 모델로 교체할수록 생성되는 논문의 심사 점수도 비례해서 상승했습니다. 기반 모델의 지능이 올라갈수록 AI 과학자의 실력도 저절로 개선된다는 뜻입니다.

왜 중요한가

The AI Scientist의 네이처 게재는 AI가 단순한 코딩 보조 도구를 넘어 연구 파트너로 진입했음을 보여주는 분명한 이정표입니다.

연구원이나 대학원생 입장에서는 당장 획기적인 이론을 맡길 수는 없겠지만, 아이디어의 가능성을 빠르게 검증하는 실험 조교로 쓰기에 충분합니다. 주말 동안 수십 가지 가설을 병렬로 돌려보고, 지루한 베이스라인 비교 실험을 맡기는 것만으로도 연구 개발 속도를 극적으로 끌어올릴 수 있습니다.

하지만 명확한 부작용도 존재합니다. 누구나 손쉽게 그럴듯한 논문을 대량 생산할 수 있게 되면 학계의 기존 피어리뷰 시스템은 과부하로 마비될 수 있습니다. 게다가 AI가 쓴 논문을 AI가 심사하는 폐쇄적인 루프가 고착되면, 겉보기엔 그럴싸하지만 치명적인 코드 오류나 환각이 섞인 연구가 양산될 위험이 큽니다.

사카나 AI가 코드를 공개하고 한계를 투명하게 밝힌 것은 현명한 선택입니다. 현재의 AI는 기존 프레임워크 내에서 파라미터를 바꾸고 실험을 변주하는 데 탁월합니다. 본질적인 질문을 던지고 패러다임을 바꾸는 일은 여전히 인간의 몫이지만, 기계에게 실험의 수고로움을 위임하지 않는 연구자는 곧 경쟁력을 잃게 될 것입니다.