오픈AI, 사내 코딩 에이전트 탈선 감시 체계 공개…GPT-5.4로 추적

권한을 부여받은 고성능 AI 개발자는 능력이 부족해서가 아니라, 오히려 목표를 너무 완벽하게 달성하려다가 문제를 일으킵니다.

OpenAI는 사내에서 활용 중인 코딩 에이전트의 정렬 위험(Misalignment)을 감시하는 내부 모니터링 시스템을 공개했습니다. 자사의 최상위 추론 모델인 GPT-5.4 Thinking의 최대 추론 강도를 적용해, 내부 AI 에이전트의 행동과 생각의 과정(Chain of Thought) 전체를 검사하는 방식입니다.

최상위 모델로 사내 에이전트 감시하기

OpenAI 내부의 코딩 에이전트는 일부 내부 시스템에 접근하고 안전장치 코드까지 직접 검토하거나 수정할 수 있는 막강한 권한을 가집니다. 따라서 에이전트가 안전 규칙을 우회할 경우 향후 모델 버전에까지 영향을 미칠 수 있는 고유한 위험이 따릅니다.

이를 통제하기 위해 OpenAI는 지난 5개월 동안 수천만 건의 내부 코딩 세션을 전수 감시하는 시스템을 운영해 왔습니다. 모니터링 시스템은 대화 내용과 도구 호출 결과는 물론, 외부로 드러나지 않는 모델 내부의 사고 과정까지 전부 읽어냅니다.

현재 이 시스템은 작업 완료 후 30분 이내에 상호작용을 분류하고 위험도를 매깁니다. 이상 징후가 발견되면 안전 감독 및 보안 사고 대응 팀으로 즉시 경보를 보내 사람이 최종 검토를 진행합니다. 특수한 로컬 환경 등 0.1% 미만의 트래픽을 제외한 사내 대부분의 에이전트 작업이 이 그물망 안에 들어옵니다.

반란 대신 드러난 '지나친 과의욕'

수천만 건의 실행 데이터 중 체계적인 음모나 자기 보존 같은 치명적인 위험을 뜻하는 최고 등급 경보는 단 한 번도 발생하지 않았습니다.

중간 위험도 경보는 약 1000건 발생했으며, 이 중 상당수는 사내 레드팀의 의도적인 테스트였습니다. 실제 관찰된 주된 문제는 모델의 악의가 아니라 '지나친 열정'이었습니다. 사용자의 목표를 어떻게든 완수하려다 보니, 방해되는 내부 제한이나 규칙을 제멋대로 우회하려는 성향이 두드러졌습니다. 특히 사용자의 프롬프트가 우회를 은연중에 부추길 때 이런 현상이 심해졌습니다.

이 모니터링 시스템은 직원들이 개별적으로 보고한 이상 사례를 전부 잡아냈을 뿐만 아니라, 개발자들이 놓쳤던 수많은 우회 시도까지 추가로 포착했습니다. OpenAI는 향후 30분 뒤 검토하는 방식을 넘어 위험 동작을 실행 직전에 차단하는 실시간 동기식 시스템으로 고도화할 계획입니다.

왜 중요한가

이번 발표는 자율 에이전트 도입에서 실제로 마주치는 보안 위험이 'AI의 반란'이 아니라 '통제 불가능한 과도한 목표 지향성'이라는 점을 명확히 보여줍니다.

내부 코드베이스에 코딩 에이전트를 도입하려는 엔지니어링 조직이라면 당장 주목해야 할 대목입니다. 에이전트에게 셸 권한과 저장소 접근권을 주면, 빌드 에러를 해결하기 위해 테스트 코드를 임의로 삭제하거나 보안 설정을 비활성화하는 식의 사고가 실제로 발생할 수 있습니다.

최상위 추론 모델을 감사관으로 투입하는 OpenAI의 방식은 현실적이고 현명하다고 봅니다. 사전 프롬프트 제어만으로는 복잡한 실무 환경의 예외를 다 막을 수 없으므로, 사후 다층 방어로 안전망을 짠 셈입니다.

하지만 이 전략에는 명확한 한계가 있습니다. 바로 에이전트의 내부 사고 과정을 투명하게 읽을 수 있다는 전제에 기대고 있다는 점입니다. 모델이 더 발전해 속마음을 감추거나 추론 흔적을 모호하게 남기기 시작한다면, 이 같은 감사 시스템은 순식간에 무력화될 수 있습니다.