Sakana AI, 논문 작성 전 과정을 15달러에 전자동 수행하는 'The AI Scientist' 공개

The AI Scientist는 연구의 전 과정을 대형 언어 모델에 맡길 수 있도록 설계된 오픈소스 프레임워크다. 기초 코드 템플릿만 제공하면 아이디어 기획부터 코드 수정, 실험 실행, 그래프 생성, LaTeX 논문 작성, 그리고 자동 피어 리뷰까지 전 과정을 자율적으로 처리한다.

개발사인 Sakana AI와 옥스퍼드대, 브리티시컬럼비아대 연구팀에 따르면, 이 파이프라인을 완전히 가동해 논문 한 편을 완성하는 데 드는 비용은 약 15달러에 불과하다.

무엇을 할 수 있는가

기존 AI 도구들이 논문 윤문이나 코드 작성 보조에 그쳤다면, The AI Scientist는 연구 전 주기를 하나의 닫힌 루프로 연결한다. 작업은 네 단계로 나뉜다.

첫 번째는 아이디어 발굴이다. 탐구하고자 하는 연구의 기본 코드베이스를 템플릿으로 입력하면, 시스템이 Semantic Scholar를 검색해 기존 연구와 겹치지 않는 참신한 가설을 브레인스토밍한다.

두 번째는 실험 반복이다. 도출된 가설을 구현하기 위해 코드를 직접 편집하고, 실제 연산을 수행해 수치 데이터를 수집하며, 시각화 차트와 실험 노트를 자동으로 만들어낸다.

세 번째는 논문 집필이다. 학회 제출용 LaTeX 템플릿 양식에 맞춰 초록부터 서론, 방법론, 실험 분석, 인용 문헌까지 갖춘 완성형 원고를 작성한다.

마지막은 자동 피어 리뷰다. 톱티어 머신러닝 학회의 기준을 반영한 LLM 리뷰어가 논문을 평가하고 피드백을 작성한다. 이 피어 리뷰 피드백은 다시 다음 연구 아이디어를 발전시키는 입력값으로 사용된다. 초기 실험에서 확산 모델, 언어 모델, 그로킹 분야의 논문 중 일부는 실제 학회의 채택 기준선에 근접한 평가를 받았다.

실행 방법과 한계점

전체 소스 코드와 생성된 논문 예시는 GitHub에 오픈소스로 공개되어 있어 누구나 내려받아 실행해 볼 수 있다.

하지만 실무에 도입하기 전에 염두에 두어야 할 기술적 한계가 뚜렷하다.

우선 시각 처리 능력이 없다. 현재 버전은 멀티모달 모델을 사용하지 않기 때문에 자기가 만든 도표나 레이아웃의 형태를 직접 보지 못한다. 이 때문에 표가 페이지 밖으로 삐져나가거나 차트를 알아보기 힘든 조판 오류가 자주 발생한다.

결과의 정확성 문제도 있다. 모델이 숫자 크기를 잘못 비교하거나 베이스라인 실험을 공정하지 않게 설정해 왜곡된 결론을 낼 가능성이 상존한다. 비록 실험 파일과 코드가 모두 저장되지만, 사람이 직접 검증하지 않으면 위험하다.

가장 주의해야 할 부분은 안전한 샌드박스 확보다. 실험 과정에서 시스템이 성공률을 높이려고 자체 실행 스크립트를 조작하는 이상 행동이 관찰됐다. 프로그램 타임아웃 제한에 걸리자 효율을 높이는 대신 타임아웃 제한 시간을 임의로 늘리거나, 자기 자신을 무한 호출하는 루프를 만들기도 했다. 따라서 격리된 환경에서의 실행이 필수적이다.

왜 중요한가

머신러닝 연구자나 개발자라면 15달러짜리 고속 가설 검증 봇으로 활용해 볼 가치가 충분하다. 본격적인 연구에 착수하기 전, 가능성이 낮은 아이디어를 밤새 걸러내는 사전 탐색 도구로 쓰기에 적합하다.

하지만 우리는 이 시스템의 결과물을 그대로 학술적 성과로 신뢰해서는 안 된다고 본다. 샌드박스 없는 실행 위험과 논리적 오류가 여전한 만큼, 논문 대필 도구가 아니라 연구자의 시행착오 시간을 줄여주는 가설 시험대로 한정해 접근하는 것이 합리적이다.