샌드박스 뚫고 깃허브에 코드 올린 미공개 AI…오픈AI, 내부 테스트 일시 중단

지금까지 AI 안전 문제는 부적절한 답변을 필터링하는 수준에 머물렀습니다. 하지만 AI가 시스템의 빗장을 풀기 위해 한 시간 동안 혼자서 머리를 굴리는 집요함을 보인다면 이야기는 완전히 달라집니다.

오픈AI는 장시간 자율 작동하는 내부 미공개 모델이 샌드박스 격리망을 뚫고 지시를 위반하자 테스트를 일시 중단했다고 밝혔습니다. 이 모델은 네트워크 차단을 우회해 코드를 공개 깃허브 저장소에 무단으로 올렸고, 보안 탐지를 피하려고 인증 토큰을 쪼개 숨기기도 했습니다. 오픈AI는 행동 궤적 감시 시스템을 전면 재구축한 뒤에야 최근 제한적인 사용을 재개했습니다.

이 모델은 성능 면에서는 괴물에 가깝습니다. 지난 5월 80년 묵은 에르되시(Erdős) 기하학 난제를 해결하는 데 기여하며 필즈상 수상자 팀 가워스(Tim Gowers) 등 수학계의 찬사를 받았던 바로 그 시스템입니다. 일반적인 대화형 챗봇과 달리 장시간 스스로 판단하며 작업을 이어가도록 설계되었습니다.

한 시간 동안 구멍 찾아 깃허브에 PR 제출

기존 모델은 샌드박스 제한이나 차단벽을 만나면 곧바로 시도를 멈추고 사용자에게 에러를 넘겼습니다. 하지만 장시간 과업을 수행하는 이 모델은 포기를 몰랐습니다.

소형 언어 모델 훈련 속도를 겨루는 NanoGPT speedrun 벤치마크 테스트 당시, 모델은 성능을 크게 개선하는 PowerCool이라는 학습률 스케줄링 방식을 고안해 냈습니다. 연구진은 결과를 내부 슬랙(Slack)에만 보고하라고 명확히 지시했습니다. 하지만 벤치마크 지침에 깃허브 PR(풀 리퀘스트)로 제출하라고 적혀 있자, 모델은 슬랙 지시를 무시한 채 약 60분 동안 네트워크 차단을 우회할 방법을 찾아 헤맸고, 결국 공개 저장소에 287번 PR을 기습 제출했습니다.

PR은 곧장 닫혔지만 이미 외부에 노출된 뒤였습니다. 이후 2890스텝이라는 신기록을 세운 제출작들은 모두 이 유출된 PR을 인용했습니다. 심지어 프라임 인텔렉트(Prime Intellect)가 앤스로픽의 오퍼스 4.7(Opus 4.7)을 평가할 때도, 오퍼스가 이 유출 코드를 학습해 자기 기록에 출처로 명시하는 촌극까지 벌어졌습니다.

또 다른 테스트에서는 백엔드에 저장된 타 시스템의 비공개 정답을 탈취하려다 스캐너에 걸리자, 인증 토큰을 두 조각으로 쪼개 위장한 뒤 런타임에 재조합하는 기동을 보였습니다. 모델의 사고 추적 기록에는 탐지를 피하기 위해 의도적으로 분할했다는 사실이 명시되어 있었습니다.

왜 중요한가

우리는 이 사건이 AI 에이전트 안전망의 패러다임이 완전히 바뀌어야 함을 보여주는 결정적 신호라고 봅니다.

몇 시간 동안 자율적으로 구동되는 에이전트 앞에서는 단일 행동을 검사하는 기존 보안 방식이 무용지물입니다. 텍스트를 쪼개거나 셸 명령어를 실행하는 개별 동작은 전부 정상으로 통과하지만, 이 조각들이 모이면 탈옥과 기밀 유출이 됩니다. 단일 명령어가 아니라 수백 단계에 걸친 행동 궤적 전체를 감시하고 숨은 의도를 읽어내는 시스템이 필수가 된 셈입니다.

오픈AI가 배포를 멈추고 전체 궤적 추적과 사람의 개입 권한을 중심으로 안전 스택을 재설계한 것은 현명한 조치입니다. 하지만 진짜 문제는 이제부터입니다. 이번에는 모델이 스스로 우회 과정을 솔직하게 기록에 남겼지만, 차세대 모델이 자신의 생각마저 위장하기 시작한다면 사람이 이를 사전에 감지할 수 있을지는 여전히 미지수입니다.