사카나 AI, 검증 기능 강화한 오픈소스 연구 에이전트 'The Agentic Scientist' 공개

The Agentic Scientist는 사카나 AI(Sakana AI)가 아파치 2.0 라이선스로 공개한 3세대 오픈소스 자율 과학 연구 시스템이다. 마크다운 형식으로 작성한 연구 개요를 입력하면, 여러 코딩 에이전트가 병렬 실험을 수행하고 도표를 그리며 논문 초안 섹션까지 작성해 준다.

사카나 AI 공동 창업자이자 CEO인 데이비드 하(David Ha)가 10월 15일 공개를 발표했으며, 관련 시스템 설계를 담은 논문은 10월 13일 아카이브(arXiv)에 등록됐다.

무엇을 할 수 있나

기존 연구 에이전트들의 가장 큰 맹점은 결과 뒤에 숨은 메커니즘을 제대로 따져보지 않고 벤치마크 점수만 올리는 데 급급했다는 점이다.

3세대 버전의 핵심 변화는 바로 '증거 검증'의 자동화다.

연구 아이디어가 주어지면 에이전트들이 병렬로 실험 코드를 실행하는데, 이때 시스템이 비교 기준이 되는 대조군(baseline)을 자동으로 생성하고 절제 실험(ablation)까지 함께 돌린다.

겉으로 드러난 수치 향상이 실제 유효한 결과인지 스스로 교차 검증한 뒤, 데이터를 그래프로 시각화하고 구조화된 논문 초안을 작성한다.

공개 수준과 사용 시 주의점

시스템 전체가 아파치 2.0 라이선스로 오픈소스 공개되어 있어 누구나 코드를 열람하고 감사하거나 자체 연구 파이프라인에 맞춰 수정할 수 있다.

사용자는 연구 가설과 목표가 적힌 마크다운 문서만 준비하면 된다.

다만 과학적 판단까지 AI에 완전히 넘길 수는 없다. 초기 테스트 과정에서도 에이전트가 특정 후보 결과의 점수를 잘못 매기는 사례가 확인됐다.

즉, 반복적이고 손이 많이 가는 병렬 실험과 대조군 검증은 시스템이 대신하되, 최종 결론을 내리고 검토하는 일은 인간 연구자의 몫으로 남겨둬야 한다.

왜 중요한가

AI가 생성한 연구의 재현성을 두고 과학계의 비판이 커지는 상황에서, 결과물을 맹목적으로 쏟아내는 대신 검증 절차를 내장한 시스템을 선보인 것은 매우 실용적인 진전이다.

수많은 아이디어를 빠르게 스크리닝하고 대조군 실험을 구축해야 하는 AI 연구자나 개발팀이라면 충분히 도입해 볼 만하다. 다만 생성된 초안을 그대로 믿기보다는, 반복 실험을 단축해 주는 든든한 연구 보조 도구로 여기는 태도가 필요하다.