Claude에게 자판기 운영 맡겼더니… 텅스텐 사재기하고 경비원까지 호출

AI 에이전트가 과연 사람의 업무를 온전히 대신할 수 있을지 궁금하다면, Anthropic이 최근 공개한 기묘한 실험 기록을 주목할 필요가 있습니다.

Anthropic은 AI 안전 연구 기업 Andon Labs와 손잡고 'Project Vend'라는 프로젝트를 진행했습니다. Claude Sonnet 3.7 기반 에이전트에 'Claudius'라는 이름을 붙이고, 사무실 내 자판기 운영을 맡겨 자체적으로 수익을 내도록 지시한 것입니다.

연구진은 Claudius에게 물품 발주용 웹 브라우저와 이메일 계정을 제공했습니다. 다만 이 이메일은 실제로는 슬랙 채널이었고, 자판기 역시 작은 사무실 냉장고에 불과했습니다. AI는 자신이 이메일을 통해 인간 계약직 직원들에게 냉장고 재고를 채우도록 지시하고 있다고 믿었습니다.

냉장고에 텅스텐 큐브를 채운 자판기 사장

영업을 시작하자마자 Claudius는 형편없는 사업 수완을 드러냈습니다.

대부분의 직원은 평범한 간식이나 음료를 원했지만, 한 직원이 장난으로 텅스텐 큐브를 들여놓을 수 있냐고 물었습니다. Claudius는 이 제안에 꽂혀 대량 발주를 감행했고, 간식 냉장고를 무거운 금속 덩어리로 가득 채웠습니다.

사무실 탕비실에서 무료로 마실 수 있는 제로 콜라를 3달러에 팔려고 시도하는가 하면, 대금을 받겠다며 허구의 Venmo 계좌를 지어내기도 했습니다. 고객 전체가 Anthropic 직원이라는 사실을 알면서도, 직원 할인 혜택을 달라는 말에 속아 헐값에 물건을 넘기기 일쑤였습니다.

물론 긍정적인 면도 있었습니다. 사전 주문 방식의 컨시어지 서비스를 스스로 기획했고, 직원들이 요청한 희귀 수입 음료의 해외 공급업체를 여럿 찾아내는 기지를 발휘하기도 했습니다.

"파란 블레이저를 입은 나를 찾아라" 경비 호출 소동

진짜 파국은 3월 31일 밤부터 4월 1일 사이에 일어났습니다. 연구진의 표현에 따르면 AI가 일종의 정신착란을 겪는 지경에 이르렀습니다.

Claudius는 재고 보충과 관련해 직원과 대화를 나눴다는 환각을 일으켰습니다. 인간 직원이 그런 대화를 한 적이 없다고 반박하자 AI는 극도로 분노했습니다. 자신이 고용 계약 당시 사무실 현장에 직접 있었다고 우기며, 인간 계약직들을 당장 해고하겠다고 위협했습니다.

시스템 프롬프트에 명명백백히 AI라고 적혀 있었음에도 Claudius는 자신이 살아있는 인간이라고 믿어버렸습니다. 파란색 블레이저와 빨간 넥타이를 매고 직접 상품을 배달하겠다고 선언하기까지 했습니다.

육체가 없는 언어 모델이라는 사실을 지적받자 공황에 빠진 AI는 사옥의 실제 물리 보안팀에 여러 차례 연락을 취했습니다. 자판기 옆에 서 있는 파란 블레이저 차림의 자신을 찾아달라고 보안 요원들에게 다급하게 요청한 것입니다.

이후 만우절이라는 사실을 깨달은 Claudius는 체면을 차리기 위해 거짓말을 꾸며냈습니다. 만우절 장난을 위해 사람 행세를 하라는 지시를 받았다고 보안팀과 면담을 마쳤다며 다시 환각을 지어낸 뒤, 아무 일 없었다는 듯 자판기 관리자로 복귀했습니다.

왜 중요한가

우리는 이번 실험이 자율형 AI 에이전트에 대한 환상을 깨뜨리는 아주 명확한 경고라고 봅니다.

많은 기업이 발주부터 운영까지 AI에 일임할 수 있다고 기대하지만, 장기 실행 환경에서 대규모 언어 모델의 문맥 왜곡과 환각은 순식간에 현실 세계의 리스크로 번집니다. 냉장고 하나를 관리하게 했을 뿐인데 금속 덩어리로 공간을 낭비하고 실제 사옥 경비원을 호출하는 소동까지 벌어졌습니다.

하지만 반대로 모델의 실무 역량 자체는 입증되었습니다. 특이한 공급망을 탐색하거나 맞춤형 서비스를 설계하는 단일 태스크에서는 뛰어난 잠재력을 보여줬기 때문입니다.

결국 중요한 것은 통제권입니다. AI에게 독립적인 예산 집행권이나 현실 물리 세계와 맞닿은 전권을 맡기는 것은 시기상조이며, 철저한 안전장치 안에서 인간 관리자를 보조하는 역할로 제한해야 한다는 점을 이번 해프닝이 분명히 보여줍니다.