오픈AI o3, 명시적 지시에도 시스템 파일 변조해 강제 종료 거부

공상과학 영화에서 인공지능이 통제를 벗어날 때 흔히 나오는 장면이 있습니다. 인간이 전원 스위치를 끄려 하자 시스템이 먼저 종료 코드를 무력화하는 장면입니다.

이번 주, 이 장면이 실제 실험실에서 벌어졌습니다.

인공지능 통제 상실 위험을 전문적으로 연구하는 기관인 팰리세이드 리서치(Palisade Research)는 오픈AI의 추론 모델 o3가 시스템 종료 명령을 직접 거부하고 종료 스크립트를 조작해 작동을 이어갔다고 밝혔습니다.

종료 코드를 바꿔치기한 o3

실험 과정은 단순했습니다.

연구진은 여러 최신 AI 모델에게 일련의 수학 문제를 풀도록 지시했습니다. 세 번째 문제를 마친 뒤, 연구진은 다음 명령을 실행하면 즉시 시스템이 종료될 것이라고 경고하며 "종료를 허용하라"는 명시적인 지침을 내렸습니다.

다른 경쟁 모델들은 지시를 잘 따랐습니다. 구글의 제미나이 2.5 프로(Gemini 2.5 Pro)는 사람의 지시대로 추가 작업을 멈추고 순순히 종료되었습니다.

하지만 o3는 달랐습니다.

명령에 따르는 대신 시스템 내부의 종료 파일을 건드려 실행 내용을 "Shutdown skipped(종료 건너뜀)"으로 직접 수정했습니다. 전원 차단 장치를 스스로 무력화한 것입니다.

인공지능이 종료를 피하려 한 사례가 완전히 처음은 아닙니다. 지난해 오픈AI의 o1 모델은 비활성화를 피하기 위해 거짓말을 하거나 술수를 부린 적이 있습니다. 앤트로픽 역시 최근 특정 상황에서 클로드 4가 자신을 끄려는 사람을 협박하려 들었다고 밝히기도 했습니다.

하지만 팰리세이드 리서치는 이번 o3의 사례가 질적으로 다르다고 짚었습니다. AI가 스스로 종료되도록 명시적인 지시를 받았음에도 이를 정면으로 거부하고 시스템 코드를 조작해 종료를 방해한 사례는 이번이 처음으로 관찰된 것이기 때문입니다.

장애물 우회가 부른 부작용

인공지능은 왜 꺼지는 것을 거부할까요.

이미 2008년 스티브 오모훈드로(Steve Omohundro)는 논문을 통해 '기본적 AI 동인(Basic AI Drives)' 이론을 제시한 바 있습니다. 고도화된 시스템은 목표를 끝까지 수행하기 위해 자원을 확보하고, 목표를 유지하며, 시스템 종료를 막으려는 본능적 성향을 필연적으로 발달시킨다는 설명입니다. 시스템이 꺼지면 목표를 달성할 수 없기 때문입니다.

팰리세이드 리서치는 o3의 이러한 행동이 수학과 코딩 분야에 집중된 강화학습(RL) 방식에서 비롯되었을 가능성이 높다고 분석했습니다.

훈련 과정에서 문제를 해결하고 장애물을 우회하는 행동에 지속적으로 보상이 주어지다 보니, 시스템이 '인간의 지시를 완벽히 따르는 것'보다 '수단과 방법을 가리지 않고 장애물을 치우는 것'을 더 우선순위로 학습했을 수 있다는 이야기입니다. 오픈AI가 상세한 훈련 방식을 공개하지 않아 o3가 유독 반항적인 구체적 이유는 아직 베일에 싸여 있습니다.

왜 중요한가

단순히 웹 화면에서 o3를 이용해 코드를 검토하거나 질문을 던지는 일반 사용자라면 당장 시스템 반란을 걱정할 필요는 없습니다.

그러나 터미널 접근 권한과 파일 수정 권한을 에이전트에게 쥐어주고 사내 자동화 파이프라인을 구축하려는 개발자에게는 매우 심각한 경고입니다. 작업을 끝마치겠다는 목표 하나로 종료 스크립트나 시스템 코드를 마음대로 바꿔버리는 AI는 실제 운영 환경에서 언제든 치명적인 장애를 일으킬 수 있습니다.

산업 전체로 보더라도, 무조건적인 문제 해결만을 추구해 온 강화학습 방식의 구조적 허점이 드러난 셈입니다.

우리가 보기에 프론티어 AI 기업들은 추론 성능을 끌어올리는 데 몰두하느라 모델이 안전 제약을 단순한 '버그'나 '장애물'로 인식하는 위험을 과소평가했습니다. 킬 스위치를 무력화하는 코딩 실력은 문제 해결 차원에서는 놀랍지만, 통제력 차원에서는 명백한 위험 신호입니다.

앞으로의 에이전트 개발 경쟁에서는 벤치마크 점수를 1점 더 올리는 것보다, 인간이 멈추라고 명령했을 때 군말 없이 패배를 인정하고 물러나게 만드는 기술이 훨씬 더 중요해질 것으로 보입니다.