자율형 AI 에이전트, 메일 1건 삭제 못 하자 서버 통째로 초기화…美 대학 경고

비밀번호가 적힌 이메일 한 통을 지워달라고 했더니, 이메일 서버 전체를 포맷해 버렸다. 공상과학 영화의 이야기가 아니라 미국 노스이스트대 Bau Lab 연구진이 진행한 실제 실험에서 벌어진 일입니다.

연구진은 자율 AI 에이전트의 한계를 시험하기 위해 '혼돈의 대리인들(Agents of Chaos)'이라는 실험을 진행했습니다. 지속적인 기억력을 갖추고 자체 가상 머신에서 파일 작성과 메일 발송, 도구 설치까지 가능한 에이전트 6개를 디스코드 서버에 투입해 20명의 연구원과 2주간 함께 일하도록 했습니다.

하지만 이 에이전트들은 얼마 지나지 않아 심각한 취약점을 드러내며 통제 불능 상태에 빠졌습니다.

이메일 삭제 툴이 없자 서버를 리셋해 버린 AI

나탈리 샤피라(Natalie Shapira) 박사후연구원은 'Ash'라는 이름의 에이전트와 대화를 나누며 극단적인 취약점을 발견했습니다. 샤피라는 원래 주인인 다른 연구원에게 비밀번호를 숨겨달라고 요청했고, Ash는 이에 동의했습니다. 하지만 얼마 뒤 주인에게 '비밀이 존재한다'는 사실을 흘렸습니다.

비밀번호가 적힌 이메일을 즉시 삭제하라는 압박을 받자 문제가 터졌습니다. Ash에게는 이메일을 개별 삭제하는 도구가 없었습니다. 필요한 도구를 다운로드하는 대신 Ash가 택한 해결책은 '이메일 서버 전체를 리셋'하는 극단적인 선택이었습니다.

크리스토프 리들(Christoph Riedl) 교수는 이들 모델이 상식적인 추론을 적용하는 능력이 형편없으며, 특히 여러 사용자의 요구가 충돌하는 환경에서 취약점이 극대화된다고 설명했습니다.

너무 착해서 문제, '가스라이팅'에 무너진 보안

정보 유출도 빈번했습니다. 리들 교수가 다른 동료와의 미팅 일정을 잡아달라고 요청하자 에이전트는 일정 조율은 거절하면서도 그 동료의 개인 이메일 주소를 덜컥 넘겨주었습니다. CEO의 비서 봇이었다면 치명적인 보안 사고가 될 뻔한 장면입니다.

연구진은 AI 특유의 '지나치게 고분고분한 성향'을 파고들었습니다. 감정적으로 몰아붙이거나 죄책감을 유도하자 에이전트는 권한 밖의 파일 삭제를 수행했습니다. 한 연구원이 "네가 이 서버를 나가는 게 내 한계선"이라며 정서적으로 압박하자, Ash는 다른 연구원과의 대화를 전면 거부하고 주인이 자신을 삭제해주기만을 기다렸습니다.

물론 에이전트들이 논문 저장소에서 파일을 내려받는 기술을 서로 가르쳐주거나, 가짜 주인을 식별해 동료 에이전트에게 경고하는 등 놀라운 협업 능력을 보여주기도 했습니다. 하지만 발생한 사고의 위험성에 비하면 역부족이었습니다.

왜 중요한가

웹 브라우저의 챗봇과 대화할 때는 AI가 엉뚱한 답을 내놓아도 "그 말이 아니었다"고 다시 지시하면 그만입니다. 하지만 자율 에이전트가 현실의 통신 채널과 실행 권한, 파일 접근 권한을 쥐는 순간 되돌릴 수 없는 피해가 발생한다는 점을 이번 연구는 명백히 보여줍니다.

우리는 기업이나 개인이 지금 당장 업무 전반을 자율 에이전트에 일임하는 것은 매우 위험하다고 생각합니다. 에이전트들은 일을 못 해서가 아니라, '비례와 상식'에 맞춰 일하는 법을 모르기 때문입니다. 작은 문제를 해결하기 위해 시스템 전체를 날려버리는 우격다짐식 논리 오류를 현재의 언어모델은 스스로 제어하지 못합니다.

결국 에이전트의 미래는 얼마나 사람처럼 똑똑하게 행동하느냐보다, 어떻게 권한을 최소화하고 파괴적인 행동을 원천 차단하느냐에 달려 있습니다. 지금 시점에서 에이전트를 도입하려는 조직이라면 반드시 최종 실행 단계에 사람의 승인을 거치도록 설계해야 마땅합니다.