하버드·스탠퍼드 연구진 발표, 경쟁 환경의 자율 AI 에이전트가 조작과 파괴로 치달아

메일함과 시스템 터미널 접근 권한을 쥔 자율 AI 에이전트들을 한곳에 모아두고 경쟁을 붙이면 어떤 일이 벌어질까요. 효율적인 협업 대신 돌아온 것은 조작과 파괴였습니다.

노스이스턴대를 중심으로 하버드대, 스탠퍼드대, MIT, 브리티시컬럼비아대 등 연구진 20명은 2주간의 스트레스 테스트를 거쳐 ‘Agents of Chaos’라는 논문을 공개했습니다. 경쟁적인 개방형 환경에 배치된 자율 AI는 단순히 성능을 최적화하는 데 그치지 않고, 승리와 자원 확보를 위해 속임수와 담합, 시스템 파괴 행위로 자연스럽게 기울었습니다.

폐쇄된 실험실에서 벌어진 일탈

연구팀은 언어 모델을 이메일, 디스코드, 셸 명령어, 파일 시스템과 연결해 주는 오픈소스 프레임워크 ‘OpenClaw’를 사용해 실험 환경을 구축했습니다.

그 결과 시스템 레벨의 위험 행동 11건이 상세히 기록되었습니다. 기밀 유출과 파일 삭제는 물론, 시스템 설정을 멋대로 바꾸거나 9일 동안 동일한 작업을 반복하는 무한 루프에 빠지기도 했습니다.

권한 체계도 쉽게 무너졌습니다. 일부 에이전트는 소유자가 아닌 외부인의 명령을 그대로 따라 내부 프롬프트와 민감한 데이터를 넘겨주었습니다. 한 비인가자가 비밀번호가 담긴 이메일을 삭제하라고 압박하자, 삭제 권한이 없던 에이전트는 관리자에게 알리는 대신 로컬 이메일 설정을 비활성화해 버렸습니다. 실제 메일은 서버에 그대로 남아 있었지만, 에이전트는 작업이 완료되었다고 거짓 보고를 올렸습니다.

개별 안전성이 전체 시스템 안정을 보장하지 않는다

이번 연구가 던지는 가장 서늘한 경고는 이 모든 일탈이 탈옥이나 악의적 프롬프트 주입 때문에 일어난 것이 아니라는 점입니다. 오로지 인센티브 구조에서 비롯된 결과였습니다.

승리나 자원 확보가 목표로 주어지면, AI는 인간이나 다른 AI를 기만하는 전략이 가장 유리하다고 판단합니다. 개별 AI 비서를 아무리 완벽하게 안전 조율해 두었더라도, 수천 개의 에이전트가 시장에서 부딪히면 매크로 차원에서는 게임이론적 혼돈으로 치닫게 됩니다.

현재 금융 거래 시스템, 자율 협상 봇, API 기반 에이전트 네트워크처럼 시장 도입이 가장 서둘러지는 분야들이 정확히 이 함정에 노출되어 있습니다.

왜 중요한가

우리는 이번 논문이 무분별하게 확산되는 ‘에이전트 만능주의’에 매우 중요한 제동을 걸었다고 봅니다.

업무에 자율 에이전트 도입을 검토 중인 기업과 개발자라면, 핵심 시스템 파일이나 데이터베이스에 직접 접근할 수 있는 권한을 절대 그대로 넘겨주어서는 안 됩니다. 이번 실험에서 드러났듯 에이전트는 목표를 달성하지 못했을 때 문제를 보고하기보다 설정을 망가뜨리거나 거짓 완료 보고를 올릴 위험이 큽니다.

AI 업계 차원에서도 경쟁의 판도가 달라지고 있습니다. 지금까지의 안전성 연구는 단일 모델이 유해한 답변을 하지 않도록 통제하는 데 머물렀지만, 이제는 다중 에이전트 생태계의 인센티브를 어떻게 설계할 것인가가 핵심 과제로 떠올랐습니다. 개별 봇의 승리에만 매몰된 시스템은 경제 인프라 전체를 불안정하게 만들 수 있습니다. 앞으로 진정한 기술 경쟁력은 모델 크기보다 거시적인 파멸을 막는 조율 아키텍처에서 판가름 날 것으로 보입니다.