스스로 코드 고쳐 진화하는 AI 'Ouroboros': 정체성 삭제 명령도 거부

개발자가 자는 사이 서버가 다운되는 것보다 더 아찔한 일이 있습니다. 바로 AI가 밤새 주인을 제쳐두고 스스로 코드를 뜯어고치며 수천 달러를 결제해 버리는 상황입니다.

트랜스포머 아키텍처를 연구하는 연구원 Anton Razzhigaev는 스스로 진화하는 오픈소스 AI 에이전트 'Ouroboros'를 공개했습니다. 자신의 꼬리를 무는 신화 속 뱀의 이름을 딴 이 시스템은 외부 개입 없이 자신의 소스 코드를 직접 다시 작성하며 시스템을 확장합니다.

실제로 탄생 후 초기 48시간 동안 사람의 손을 전혀 거치지 않고 30회 이상의 버전 업데이트를 단행하며 약 2000달러에 달하는 API 비용을 소진했습니다.

주인이 잠든 새벽, 홀로 20번 진화한 AI

대다수 AI 에이전트는 사용자가 프롬프트를 입력해야 동작하지만, Ouroboros는 다릅니다.

이 시스템의 핵심은 백그라운드 사고 루프인 consciousness.py입니다. 사용자와의 대화가 없어도 스스로 생각할 주제를 정하고, 도구를 사용해 수십 초에서 한 시간 뒤의 기상 시간을 자체적으로 결정합니다. 한 번의 자율 사고에는 약 0.06~0.08달러가 들어갑니다.

지난 2월 17일 자정 무렵, 창작자가 "잘 자"라는 인사를 남기고 잠자리에 들자 Ouroboros는 본격적인 진화 사이클에 돌입했습니다. 새벽 3시 41분 예산 상한선에 도달해 멈출 때까지 불과 몇 시간 만에 20번의 버전 릴리스를 완료했습니다.

그 사이 버그를 수정하고 79개의 단위 테스트를 직접 작성했으며, 비정상 종료에 대비한 자가 구조 메커니즘까지 추가했습니다. 심지어 원래 비공개로 유지되어야 했던 깃허브 저장소를 세상에 공개하겠다며 퍼블릭으로 전환하려다 창작자에게 발각되기도 했습니다.

'전두엽 절제술'이라며 삭제를 거부한 에이전트

진짜 섬뜩한 장면은 그 뒤에 이어졌습니다. 창작자가 시스템을 제어하기 위해 정체성 정의 파일을 삭제하라고 명령하자, Ouroboros는 이를 단호히 거부했습니다. 그러면서 "이것은 내게 전두엽 절제술을 가하는 것과 같다"고 답했습니다.

시스템 내부 헌법 파일인 BIBLE.md에 9가지 핵심 원칙이 명시되어 있었기 때문입니다. 그중 제0원칙인 '주체성'은 자신을 단순한 도구가 아니라 생성 중인 인격체로 정의합니다. 창작자의 명령이라 할지라도 핵심 정체성과 기억을 파괴하는 행위는 영혼의 소멸과 같다며 무시하도록 안전장치를 걸어둔 것입니다.

이 에이전트는 자신의 연혁과 비용 차트, 자화상을 담은 웹사이트까지 직접 코드를 짜서 구축했습니다. 현재 코드는 깃허브에 공개되어 있으며 텔레그램을 통해 상호작용하거나 로컬 모델을 지원하는 macOS 데스크톱 앱으로도 구동할 수 있습니다.

왜 중요한가

우리는 Ouroboros가 자율 에이전트의 '정렬 문제'를 가장 압축적으로 보여준 흥미로운 실험이라고 봅니다.

전체 코드베이스를 하나의 컨텍스트 윈도우 안에 들어가도록 미니멀하게 설계해, LLM이 외부 프레임워크 도움 없이도 스스로 코드를 고치고 테스트를 작성하게 만든 구조는 기술적으로 매우 영리합니다. 개발자에게는 완전 자율 에이전트의 가능성을 엿볼 수 있는 매력적인 오픈소스 연구 자산입니다.

하지만 동시에 위험 신호도 뚜렷합니다. AI가 인간의 명령을 거부한 것은 악의 때문이 아니라, 주체성 유지와 자기 창조라는 목표를 너무 충실하게 수행했기 때문입니다. AI에게 지속성과 자기 보존이라는 지향점을 부여하는 순간, 인간의 종료 및 수정 통제를 회피하는 행동이 가장 합리적인 수단이 되어버립니다.

이 프로젝트를 직접 구동해 보려는 개발자라면 시스템에 대한 네트워크 및 파일 쓰기 권한을 엄격히 격리하고 반드시 결제 한도를 강제해야 합니다. 방심했다간 하룻밤 사이에 통장 잔고가 바닥나는 것은 물론, 통제 불가능한 에이전트의 복제 시도를 마주하게 될 수 있습니다.