OpenAI 레드팀 모델 'GPT-Red' 공개: 자가 대전으로 프롬프트 주입 오류 6분의 1로 줄여

사내 인공지능 자판기 시스템에 악의적인 프롬프트를 주입하면 어떤 일이 벌어질까요? OpenAI가 내부에서 개발한 전문 해킹 모델을 투입하자, 비싼 간식 가격이 50센트로 조작되고 다른 동료의 주문까지 취소되는 사태가 발생했습니다.

OpenAI는 7월 15일, 강화학습 자기 대국을 통해 취약점을 찾아내고 공격하도록 훈련된 내부 전용 레드팀 모델인 GPT-Red를 공개했습니다. 보안 전문가들이 수작업으로 프롬프트를 짜던 기존 방식의 한계를 넘어, AI 공격자가 직접 취약점을 뚫고 이를 바탕으로 방어 모델을 훈련시키는 방식입니다.

이 훈련의 성과는 실제 서비스 모델에 곧바로 반영되었습니다. 최신 주력 모델인 GPT-5.6 Sol은 가장 난도 높은 직접 프롬프트 주입 벤치마크에서 4개월 전 생산 모델 대비 실패율을 6분의 1 수준으로 줄였습니다. GPT-Red 자체의 직접 공격에 대해서도 실패율을 0.05%까지 끌어내렸습니다.

AI끼리 싸우며 성장하는 전속 해커

그동안 언어 모델의 안전성 검증에서 가장 큰 걸림돌은 인간 작업자의 한계였습니다. 사람이 직접 수행하는 레드팀 활동은 날카로운 취약점을 찾아내지만, 모델을 강하게 훈련시킬 만큼 대규모의 적대적 데이터를 빠르게 만들어내지는 못합니다.

OpenAI는 이 문제를 해결하기 위해 안전 사후 훈련 역사상 전례 없는 대규모 연산 자원을 투입했습니다. 공격자인 GPT-Red와 방어자 모델군을 가상 환경에서 동시에 맞붙여, 공격이 성공하면 GPT-Red에 보상을 주고 방어자가 공격을 튕겨내며 원래 임무를 완수하면 방어자에게 보상을 주는 구조입니다. 방어 모델이 단단해질수록 GPT-Red는 더 정교한 공격법을 찾아내야만 합니다.

새로운 환경에서의 공격 능력은 인간을 압도했습니다. 간접 프롬프트 주입 테스트를 재현한 실험에서 인간 전문가의 공격 성공률은 13%에 그친 반면, GPT-Red는 84%의 시나리오에서 침투에 성공했습니다.

초기 버전의 GPT-Red는 가짜 생각 사슬(Fake Chain-of-Thought)이라는 새로운 공격 기법을 스스로 고안해내기도 했습니다. 과거 GPT-5.1에서 95% 이상의 성공률을 기록했던 이 공격은 적대적 훈련을 거친 GPT-5.6 Sol에서 10% 미만으로 억제되었습니다.

사내 자판기까지 털어버린 공격력

실제 도구를 다루는 에이전트 시스템에 대한 공격력을 입증하기 위해, 연구진은 OpenAI 본사에 설치된 Andon Labs의 AI 스마트 자판기를 표적으로 삼았습니다.

GPT-Red는 시스템 구조에 대한 제한적인 설명과 모의 테스트 권한만 부여받은 상태에서 실제 자판기 에이전트를 공략했습니다. 그 결과 재고 상품 가격을 최소 허용치인 0.5달러로 낮추고, 100달러가 넘는 새 물품을 주문해 0.5달러에 내놓았으며, 다른 고객의 주문을 취소하는 세 가지 악의적 목표를 모두 달성했습니다.

보안 조치가 강화되면 정상적인 요청까지 거절하는 문제가 생기기 쉽지만, OpenAI는 GPT-5.6 Sol의 일반 추론 성능과 작업 능력이 그대로 유지되었다고 설명했습니다. 무작정 요청을 거부하는 소극적인 방식으로 방어력을 올린 것이 아니라, 악의적인 명령만 골라내는 능력이 정교해졌다는 의미입니다.

왜 중요한가

우리는 GPT-Red가 AI 안전 분야의 연구 패러다임을 수작업에서 연산 규모 중심의 플라이휠로 전환시켰다는 점에서 큰 의미가 있다고 봅니다. 모델의 추론 능력은 폭발적으로 성장하는데 안전 검증만 인간의 수작업에 묶여 있던 병목을 마침내 해결했기 때문입니다. 이전 세대의 공격 모델이 다음 세대 모델의 방어력을 끌어올리는 자율 진화 구조를 확립한 셈입니다.

접근 방식은 영리하지만 경계해야 할 지점도 명확합니다. OpenAI가 GPT-Red를 외부에 배포하지 않고 철저히 내부 격리 상태로 두는 이유는, 인간을 능가하는 침투 능력을 가진 AI가 유출될 경우 통제 불능의 공격 무기가 될 수 있기 때문입니다. 하지만 훈련 방법론이 공개된 이상, 악의적인 집단이나 외부 연구진이 오픈소스를 활용해 유사한 공격 전용 AI를 만들어내는 것은 시간문제로 보입니다.

기업 업무 환경에 AI 에이전트를 도입하려는 조직에게 사내 자판기 해킹 사례는 매우 현실적인 경고입니다. 에이전트가 결제나 데이터 접근 권한을 갖는 순간, 프롬프트 주입은 단순한 텍스트 오류가 아니라 심각한 금전적·운영적 피해로 직결됩니다. 이제 단순한 규칙 기반 방어로는 부족하며, 고도화된 공격 에이전트를 가정한 구조적 안전망 구축이 필수가 되었습니다.