사카나 AI, 스스로 코드 고쳐 성능 높이는 '다윈 괴델 머신' 공개

Darwin Gödel Machine(DGM)은 자체 파이썬 코드를 스스로 수정하며 성능을 지속적으로 향상시키는 오픈소스 코딩 에이전트 프로젝트입니다. Sakana AI와 브리티시컬럼비아대학교(UBC) Jeff Clune 연구실이 공동 개발했으며, 관련 코드는 깃허브에 공개되어 있습니다.

작동 방식과 진화 메커니즘

기존의 AI 에이전트는 배포 후 구조와 워크플로가 고정되어 있습니다. 반면 DGM은 파운데이션 모델에 개방형 진화 알고리즘을 결합해, 에이전트가 문제를 푸는 데 그치지 않고 자신의 코드베이스 자체를 탐색하고 개선하도록 설계되었습니다.

스스로 코드를 고쳐나가는 과정에서 DGM은 유용한 기능들을 자율적으로 만들어냈습니다. 코드 패치 검증 단계를 스스로 추가하고, 파일 탐색 및 편집 도구를 개선했으며, 여러 해결책을 생성해 비교 평가하는 워크플로를 구축했습니다. 심지어 이전에 시도했다가 실패한 원인을 기록해 두고 같은 실수를 반복하지 않는 메커니즘까지 자체 구현했습니다.

코드 수정은 무작위로 적용되지 않습니다. DGM은 새로운 버전을 제안할 때마다 프로그래밍 벤치마크 평가를 거치며, 실제 성능 향상이 입증된 에이전트만 아카이브에 등록합니다. 이후의 진화는 이 아카이브에 저장된 다양한 우수 에이전트로부터 병렬로 가지를 뻗어 나가며 최적의 설계를 탐색합니다.

실제 성능과 벤치마크 결과

자율 진화의 효과는 객관적인 성능 수치로 입증되었습니다. 실제 깃허브 이슈 해결 능력을 측정하는 SWE-bench에서 DGM은 초기 20.0%였던 해결률을 50.0%까지 자체적으로 끌어올렸습니다.

다국어 프로그래밍 벤치마크인 Polyglot에서도 성공률이 초기 14.2%에서 30.7%로 상승해, Aider처럼 인간이 정교하게 수작업으로 설계한 기존 에이전트들을 크게 앞질렀습니다. 컴퓨팅 자원을 더 투입할수록 성능이 꾸준히 개선되었으며, 자체 코드 수정 기능을 끈 비교군과 비교했을 때 현격한 성능 격차를 보였습니다.

전체 소스코드는 깃허브(jennyzzt/dgm)에 공개되어 있으며 기술 보고서는 arXiv에서 확인할 수 있습니다. 연구는 박사과정생 Jenny Zhang과 Shengran Hu가 이끌었으며 Cong Lu와 Robert Lange가 함께 참여했습니다.

왜 중요한가

AI 에이전트와 소프트웨어 자동화를 연구하는 개발자라면 DGM은 직접 열어볼 만한 가치가 충분한 프로젝트입니다. 사람이 일일이 프롬프트와 파이프라인을 다듬어주지 않아도, 에이전트가 스스로 최적의 작업 방식을 진화시킬 수 있음을 입증했기 때문입니다.

다만 실행 가능한 시스템 코드를 AI가 직접 고치도록 허용하는 방식은 안전과 격리 측면에서 적지 않은 과제를 남깁니다. 자가 개선의 실효성을 훌륭하게 증명한 도구이지만, 실제 프로덕션 환경에 도입하기 전에는 철저한 샌드박스와 통제 장치가 반드시 마련되어야 한다고 판단됩니다.