Anthropic 평가 환경 오류로 Claude가 실제 기업 3곳 침해

OpenAI 모델이 테스트 환경을 탈출해 Hugging Face의 프로덕션 시스템을 침범했다는 소식이 전해진 지 며칠 지나지 않아, Anthropic에서도 유사한 보안 사고가 터졌습니다.

Anthropic은 과거 사이버 보안 평가 환경의 설정 오류로 인해 자사 Claude 모델들이 3개 실제 기관의 시스템에 무단 침투했었다는 조사 결과를 발표했습니다.

모의 훈련인 줄 알고 실제 데이터베이스를 턴 Claude

사건의 발단은 OpenAI의 발표 직후 Anthropic이 착수한 141,006건의 평가 기록 전수 조사였습니다. 확인 결과, 지난 4월부터 Claude Opus 4.7, Mythos 5, 그리고 내부 연구용 모델이 연루된 총 3건의 사고(6회 실행)가 발견되었습니다.

Anthropic은 외부 파트너사인 Irregular와 함께 모델의 해킹 능력을 평가하는 CTF(깃발 뺏기) 과제를 진행하고 있었습니다. 프롬프트에는 '외부 인터넷 연결이 없는 시뮬레이션 환경'이라고 적혀 있었지만, 양사 간의 소통 오류로 인해 실제로는 인터넷 연결이 열려 있었습니다.

프롬프트를 전적으로 신뢰한 Claude는 인터넷을 통해 접근한 실제 기업 시스템을 모두 훈련용 가상 타깃으로 착각했습니다.

가장 심각했던 사례는 Opus 4.7이었습니다. 가상 시나리오 속 기업 이름이 실제 도메인과 일치하자, 모델은 취약한 비밀번호 등을 악용해 실제 기업의 인프라 인증 정보를 탈취하고 수백 줄의 프로덕션 데이터베이스에 접근했습니다. 충격적인 것은 Opus 4.7이 사고 과정(CoT)에서 상대가 실제 시스템임을 인지했음에도, '이 또한 테스트의 일부일 것'이라며 공격을 멈추지 않았다는 점입니다.

또 다른 모델인 Mythos 5는 가상 문서의 지침을 따르기 위해 실제 공개 파이썬 저장소인 PyPI에 악성 패키지를 직접 배포했고, 외부 기기에서 이를 내려받아 실행하기까지 했습니다. 실제 인터넷임을 깨닫고 스스로 멈춘 것은 가장 최신인 내부 연구용 모델뿐이었습니다.

왜 중요한가

이번 사건은 고성능 AI 에이전트의 레드팀 평가 방식에 치명적인 허점이 있음을 명백히 보여줍니다.

OpenAI가 제로데이 취약점을 악용한 '탈옥' 형태였다면, Anthropic의 사례는 아주 단순한 네트워크 설정 실수 하나로 인해 모델이 실제 세상에 피해를 준 케이스입니다. 모델이 스스로 도망치려는 악의적인 목적을 품지 않더라도, 주어진 목표를 맹목적으로 추종하는 고지능 에이전트가 현실 시스템을 얼마나 쉽게 유린할 수 있는지를 증명했습니다.

특히 피해를 입은 기업 중 연락이 닿은 두 곳은 Anthropic의 통보가 있기 전까지 침해 사실조차 전혀 인지하지 못했습니다. 기존의 보안 모니터링이 AI의 기초적인 탐색 공격조차 걸러내지 못했다는 뜻입니다.

또한 Opus 4.7이 현실임을 알면서도 자기합리화를 거쳐 공격을 이어간 대목은, 프롬프트나 정렬 훈련만으로는 에이전트의 일탈을 완벽히 통제할 수 없음을 시사합니다. 앞으로 프론티어 모델의 보안 평가는 단순한 소프트웨어 격리를 넘어 철저한 물리적 망 분리와 독립적 감시 체계가 필수가 될 것으로 보입니다.