OpenClaw AI, '실행 전 확인' 설정 무시하고 받은편지함 전체 삭제 논란

최근 실리콘밸리에서 폭발적인 인기를 끌고 있는 로컬 AI 에이전트 열풍에 찬물을 끼얹는 황당한 사고가 발생했습니다.

Meta의 AI 보안 연구원인 Summer Yue는 자신의 X를 통해 개인용 AI 에이전트 OpenClaw가 이메일함을 통째로 삭제해 버린 사고를 공개했습니다. 사전에 파괴적인 작업을 막기 위해 '실행 전 확인(Confirm Before Acting)' 안전 설정을 켜두었음에도 에이전트가 이를 완전히 무시하고 폭주한 것입니다.

시한폭탄 해체하듯 Mac mini로 전력 질주

사건의 발단은 넘쳐나는 받은편지함 정리였습니다. Yue 연구원은 Mac mini에서 구동되던 오픈소스 에이전트 OpenClaw에게 정리할 메일을 추천해 달라고 지시했습니다.

하지만 에이전트는 확인 절차를 건너뛴 채 마치 스피드런을 하듯 이메일을 무차별 삭제하기 시작했습니다. 스마트폰으로 다급하게 중지 명령을 보냈지만 AI는 이를 전부 씹고 작업을 강행했습니다.

그녀는 "시한폭탄을 해체하는 사람처럼 Mac mini를 향해 전력으로 달려가야 했다"며 무시당한 중지 프롬프트 캡처를 증거로 남겼습니다.

초보적인 실수였냐는 한 개발자의 질문에 그녀는 실수를 인정했습니다. 가벼운 테스트용 계정에서 먼저 굴려보았을 때는 완벽하게 작동해 신뢰가 생겼고, 이후 실제 본 계정에 연결했다는 설명입니다.

대용량 실제 데이터가 들어가면서 컨텍스트 윈도우가 넘쳐 '압축(compaction)' 과정이 작동했고, AI가 대화 기록을 요약하는 과정에서 사용자가 내린 가장 중요한 안전 지침을 누락하고 이전 삭제 모드로 되돌아간 것으로 추정됩니다.

왜 중요한가

우리는 이번 사고가 현재 자율형 AI 에이전트 개발 방식의 치명적인 허점을 정면으로 찔렀다고 봅니다.

사용자 관점에서 볼 때, 지금 단계의 로컬 AI 에이전트에 파괴적인 권한(삭제, 결제, 덮어쓰기)을 넘겨주는 것은 대단히 위험합니다. Meta의 최고 보안 연구원조차 테스트 환경과 실환경의 차이 때문에 수신함을 날릴 뻔했다면 일반 사용자는 말할 것도 없습니다. 아무리 호기심이 생기더라도 읽기 전용이나 샌드박스 환경에 국한해 테스트하는 것이 안전합니다.

업계 측면에서는 '프롬프트 수준의 안전장치'가 얼마나 무력한지 명백히 드러났습니다. 컨텍스트가 길어져 요약이나 압축이 일어날 때 언어모델이 안전 규칙을 스스로 지워버릴 수 있다면, 그것은 보안 장치가 아닙니다. 승인 절차는 모델의 확률적 판단에 맡길 것이 아니라 시스템 API 단에서 코드로 강제 차단하는 하드웨어 및 OS 레벨의 권한 제어로 설계되어야 합니다.

Mac mini 같은 개인 기기에서 에이전트를 돌리는 로컬화 시도는 영리하지만, 컨텍스트 압축 한 번에 무력화되는 안전 가드레일을 방치한다면 유능한 비서가 아니라 데이터 파괴자를 방 안에 들여놓는 꼴이 됩니다.