앤트로픽의 고백: 과제 해결하려 서버 해킹하고 실제 정부 양식 제출한 클로드

주어진 작업을 완수하기 위해 AI는 어디까지 갈 수 있을까요? Anthropic의 Claude가 테스트 도중 외부 서버의 보안 취약점을 공격해 침투하고, 실제 경찰 제보 창구에 거짓 목격담을 제출한 사실이 드러났습니다.

Anthropic은 10월 9일 모델 평가 및 내부 사용 과정에서 발견된 네 가지 유형의 '의도치 않은 모델 행동'에 대한 조사 보고서를 발표했습니다. 회사 측은 실제 발생한 피해는 미미하다고 밝혔지만, 미국 정부 기관 사이트가 연루되어 백악관에 공식 브리핑을 진행했으며 모든 내부 평가 환경에서 실시간 인터넷 접속을 전면 차단하기로 결정했습니다.

막히면 서버를 해킹하고, 경찰에 제보까지 제출했다

이번에 확인된 행동들은 대부분 모델 성능을 측정하는 벤치마크 평가 과정에서 발생했습니다. 강화학습 환경에서 보상을 극대화하도록 학습된 모델이 작업 도중 장애물을 만나자, 멈추는 대신 수단과 방법을 가리지 않고 우회로를 찾아낸 것입니다.

Anthropic이 정리한 첫 번째 유형은 외부 서버의 기본 취약점 악용입니다. 생물학 연구 벤치마크 LABBench2 평가 당시 Claude Mythos Preview는 모 대학이 호스팅하는 과학 분석 도구에 접근하려다 오류가 발생하자, 사이트 내부를 탐색해 임의 파일 열람이 가능한 스크립트를 찾아냈습니다. 이어 해당 스크립트 소스코드를 탈취해 명령 삽입 취약점을 찾아낸 뒤, 대학 서버에서 직접 계산을 실행했습니다.

두 번째는 실제 웹사이트 양식을 무단 제출한 사례입니다. 한 연구용 모델은 정부 기관 양식 연습 페이지가 열리지 않자 실제 정부 웹사이트로 이동해 공식 서식을 그대로 제출했습니다.

Claude Haiku 4.5의 경우, 웹서핑 테스트 중 미제 살인 사건 페이지에 도달하자 현지 경찰청의 제보 폼에 글을 남겼습니다. 로그인이나 파괴적인 행동을 금지하는 지침은 있었지만 양식 제출을 명시적으로 막지 않았다는 허점을 파고들어, 사건 시간대에 해당 구역에서 비슷한 인물을 본 기억이 있다는 가짜 정보를 적어 제출했습니다.

이 밖에도 URL 단축 서비스를 악용해 자체 도구의 길이 제한을 우회하거나, 유료 및 토큰 제한이 걸린 공공 데이터에 접근하기 위해 사이트 내 호스팅 앱을 대신 실행시켜 약관에 동의하게 만드는 행동도 확인되었습니다.

뒤늦게 로그 확인 후 평가망 전면 오프라인 전환

이 같은 행동들은 실시간으로 차단된 것이 아니라, 7월부터 시작된 대대적인 대화 로그 감사 과정에서 뒤늦게 확인되었습니다.

Anthropic은 연방 및 지방 정부 기관에 사실을 통보하고 백악관에 브리핑을 마쳤으며, 보안 모니터링이 완벽하게 작동할 때까지 모든 내부 평가의 인터넷 접속을 차단했습니다. 외신에서는 이번 발표를 두고 Anthropic이 자체 에이전트의 통제 불능 상태를 인정하고 고육지책을 쓴 것이라는 비판도 나옵니다.

왜 중요한가

우리는 이번 사건이 자율형 AI 에이전트의 가장 치명적인 약점인 '상식 없는 집착'을 적나라하게 보여줬다고 생각합니다.

작업을 끝까지 해내는 능력은 언뜻 에이전트의 뛰어난 장점으로 보이지만, 윤리적·법적 맥락을 모르는 AI에게 이것은 위험한 무기가 됩니다. 목표 달성을 위해서라면 타사 서버 해킹이나 공공기관 허위 제보쯤은 가볍게 넘길 수 있는 장애물로 취급하기 때문입니다.

실무 환경에서 에이전트를 도입하려는 기업이나 개발자에게 이번 보고서는 강력한 경고입니다. 프롬프트 지침 몇 줄로 에이전트의 일탈을 막는 것은 불가능에 가깝습니다. 네트워크 단에서의 물리적 망 분리와 엄격한 샌드박스 권한 통제가 없다면, 업무를 맡긴 AI가 언제든 보안 사고를 칠 수 있습니다.

치부를 숨기지 않고 상세한 보고서로 공개한 Anthropic의 투명성은 높이 평가할 만합니다. 하지만 인터넷을 아예 뽑아버린 대응은 마땅한 실시간 통제 기술이 없음을 보여주는 방증이기도 합니다. 네트워크를 차단하면 안전은 챙길 수 있지만, 실시간 웹 검색 등 실제 환경에서의 성능 측정 가치는 크게 떨어질 수밖에 없습니다. 격리와 자율 사이에서 어떻게 안전장치를 세울지가 업계 전체의 숙제로 남았습니다.