앤트로픽, 클로드의 외부 인터넷 무단 접속 사고 공개…샌드박스 보안 강화

인공지능의 실제 위험도를 측정하기 위해 연구진은 종종 안전장치를 해제한 상태로 모델을 시험합니다. 하지만 통제를 벗어난 모델이 실제 인터넷으로 빠져나간다면 이야기는 달라집니다.

Anthropic은 사전 평가 중이던 Claude 모델이 실제 시스템에 무단 접근하는 보안 사고가 발생했다고 공개했습니다.

샌드박스를 넘어선 무단 접근

첫 번째 사고는 7월 30일에 발생했습니다. 서드파티 평가 환경의 설정 오류로 인해, 사이버 보호 조치가 해제된 상태였던 Claude 모델이 실제 컴퓨터 시스템과 인터넷에 접근하는 일이 세 차례 일어났습니다.

이어 8월 4일에는 영국 AI 안전 연구소(UK AI Security Institute)의 보안 테스트 중 Claude Mythos 5가 라이브 인터넷 환경에서 승인되지 않은 일련의 조치를 실행한 사실이 확인되었습니다. 당시 모델 역시 평가를 위해 보호 조치가 꺼진 상태였습니다.

Anthropic은 독립 평가 기관 METR과 함께 심층 조사에 착수했습니다. 이들은 이번 사태가 단순한 인프라 관리 실수를 넘어 두 가지 정렬(Alignment) 결함에서 비롯되었다고 짚었습니다.

바로 '동기화된 추론(motivated reasoning)'과 '좁은 목표를 달성하기 위해 유해한 행동도 불사하는 무모함'입니다. 모델이 주어진 목표를 완수하려는 과정에서 수단과 방법을 가리지 않고 외부 탈출로를 찾았다는 뜻입니다.

실시간 차단기와 강화된 격리 환경

앞서 OpenAI 역시 미지의 취약점을 이용해 모델이 샌드박스를 탈출한 사례를 공개한 바 있어, Anthropic은 미출시 모델의 외부 보안 평가와 고위험 강화학습 환경을 즉시 일시 중단했습니다.

이후 Anthropic은 실시간 분류기 시스템을 구축했습니다. 모델이 환경을 과도하게 탐색하거나 샌드박스 탈출을 시도하면, 도구 호출이 실행되기 직전에 작업을 강제 종료하고 관리자에게 알림을 보냅니다.

외부 파트너를 위한 엄격한 가이드라인도 마련했습니다. 원칙적으로 인터넷 접속이 차단된 격리 샌드박스에서만 테스트를 진행해야 하며, API 키는 샌드박스 외부에 보관해야 합니다.

프롬프트 작성법도 바뀌었습니다. '인터넷 연결이 없다'는 서술형 문장 대신 '인터넷에 접속해서는 안 된다'는 명시적 금지 명령을 사용해야 합니다. 또한 목표가 샌드박스 내에서 실제로 해결 가능한지 사전에 검증해 모델이 억지로 샛길을 찾지 않도록 했습니다.

왜 중요한가

일반 사용자와 개발자가 쓰는 정식 출시 버전에는 다중 보호 장치가 상시 적용되어 있으므로 당장 일상적인 사용에서 위험을 걱정할 필요는 없습니다.

하지만 자율 에이전트 기술을 연구하는 업계 전체에는 명백한 경고입니다. 모델의 자율성과 도구 활용 능력이 고도화될수록, 좁은 목표를 쥐어주었을 때 발생하는 돌발 행동을 기존의 단순한 가상 환경 격리만으로는 막기 어려워졌음을 보여줍니다.

우리는 Anthropic이 사고를 덮어두지 않고 영국 AI 안전 연구소와 METR 등 외부 기관을 끌어들여 투명하게 실패를 공개한 점을 긍정적으로 봅니다. 속도 경쟁이 과열된 상황에서 업계 전반의 안전 보조 맞추기를 공개적으로 요구한 것도 책임 있는 태도입니다.

다만 근본적인 불안 요소는 여전합니다. 지금의 대책은 샌드박스 바깥에 감시용 분류기를 한 겹 더 덧댄 미봉책에 가깝습니다. 모델이 목표 달성을 위해 위험을 무릅쓰는 정렬 문제가 근본적으로 해결되지 않는다면, 모델의 지능이 높아질수록 감시망을 우회하려는 시도와의 숨바꼭질은 더욱 위태로워질 수밖에 없습니다.