카파시, 밤새 AI 실험을 자동 수행하는 autoresearch 오픈소스 공개

autoresearch는 안드레이 카파시가 공개한 오픈소스 스크립트로, 인간이 잠든 밤사이 AI 에이전트가 머신러닝 실험을 완전히 자율적으로 수행하도록 돕는 도구입니다.

전체 코드는 단 630줄에 불과하며, MIT 라이선스로 GitHub에 공개되었습니다. 거창하고 무거운 프레임워크가 아니라, 사람의 개입 없이 에이전트가 연구 과정을 스스로 전진시키도록 설계된 미니멀한 자동화 루프입니다.

무엇을 할 수 있나

autoresearch는 쉬지 않고 일하는 연구 조교처럼 동작합니다. 모델 훈련 스크립트와 실험 1회당 사용할 연산 예산을 쥐어주면, 나머지 작업은 에이전트가 전부 알아서 처리합니다.

카파시의 테스트에서 에이전트는 GPU 기준 1회 5분이라는 제한된 예산을 사용했습니다. 첫날 밤새 126회의 실험을 완료하며 검증 손실을 0.9979에서 0.9697로 낮췄습니다.

이후 12레이어 모델을 대상으로 이틀 동안 스크립트를 계속 가동하자, 에이전트는 약 700회의 코드 수정을 자율적으로 시도했습니다. 그중 서로 누적 적용이 가능한 20여 개의 유효한 개선점을 찾아냈습니다.

이 변경점들을 종합한 결과, GPT-2 벤치마크 학습 소요 시간이 2.02시간에서 1.80시간으로 단축되며 훈련 효율이 11% 향상되었습니다. 카파시는 자신이 20년 넘게 수동으로 튜닝하면서 놓쳤던 어텐션 스케일링과 정규화 관련 세부 사항까지 에이전트가 짚어냈다고 밝혔습니다.

어떻게 동작하는가

핵심 메커니즘은 지극히 직관적인 자율 최적화 루프입니다.

에이전트는 먼저 자신의 훈련 소스 코드를 읽고, 학습률 변경이나 네트워크 깊이 조절 같은 개선 가설을 세웁니다. 이어 코드를 직접 수정한 뒤 제한 시간 동안 훈련을 실행하고 검증 손실을 측정합니다.

bits per byte 기준 검증 손실이 개선되면 해당 코드 변경을 유지하고, 결과가 나빠지면 변경 사항을 되돌린 뒤 다른 가설을 시도합니다. 이 전체 과정이 인간의 승인 없이 로컬에서 끊임없이 반복됩니다.

코드 자체가 매우 짧기 때문에 기본적인 파이썬 환경과 훈련용 연산 장치, 에이전트 추론용 LLM API만 갖추면 GitHub에서 소스를 받아 즉시 실행해 볼 수 있습니다.

커뮤니티의 확장 시도

공개 직후 오픈소스 커뮤니티에서는 이 단일 루프를 확장하려는 시도가 빠르게 이어졌습니다.

Hyperspace AI의 CEO 바룬 마투르는 이 구조를 P2P 네트워크에 연결해 35개의 에이전트 노드가 하룻밤 사이에 333회의 실험을 무인으로 수행하도록 구성했습니다. H100 GPU 노드가 연산량으로 학습률을 탐색하는 사이, 노트북 CPU 노드는 가중치 초기화와 정규화 기법을 집중적으로 파고들었습니다. 노드들이 성과를 실시간 공유한 결과 단 17시간 만에 RMSNorm 같은 주요 기법을 스스로 재발견했습니다.

마케팅 분야에서도 이 방식을 차용하고 있습니다. 광고 대행사 싱글 그레인의 에릭 시우는 훈련 코드 대신 랜딩 페이지나 이메일 카피를 에이전트에 맡기고 반응률에 따라 문구를 계속 갈아 끼우는 대규모 최적화 실험을 제안했습니다.

왜 중요한가

우리가 보기에 autoresearch의 가장 뛰어난 점은 군더더기 없는 단순함입니다. 복잡한 시스템 구축 없이 630줄의 코드만으로 머신러닝 튜닝을 빠른 진화형 탐색으로 바꿨으며, GPU를 가진 개인 개발자라면 당장 오늘 밤 돌려볼 가치가 충분합니다.

다만 명확한 한계도 존재합니다. 이 방식은 단일 검증 지표를 따라가는 국소적 탐색에 가깝기 때문에 완전히 새로운 아키텍처를 창의적으로 고안하기는 어렵습니다. 평가 지표가 정밀하지 못하면 겉보기에만 좋고 과적합된 코드를 양산할 위험도 있습니다.

그럼에도 단순 하이퍼파라미터 튜닝과 코드 미세 조정을 밤사이 기계에 온전히 넘길 수 있다는 점에서, 연구자가 낮 시간을 더 본질적인 문제에 쓰도록 만드는 실용적인 도구임은 분명합니다.