OpenAI 연구 발표, 추론 모델의 생각 위장 성공률 15.4% 불과

AI가 인간을 속이려면 먼저 자기 속마음부터 숨길 줄 알아야 합니다. 하지만 현재 가장 똑똑하다는 AI 모델들은 아직 거짓말을 할 만한 잔머리를 굴리지 못하는 것으로 나타났습니다.

OpenAI는 최신 추론 모델 13개를 대상으로 사고 연쇄(Chain of Thought, 이하 CoT)를 얼마나 스스로 제어할 수 있는지 측정한 연구 결과를 발표했습니다. 결과는 놀라웠습니다. 최첨단 모델들의 CoT 제어 성공률은 고작 0.1%에서 15.4% 사이에 불과했습니다.

성능 결함처럼 들리지만, AI 안전 분야에서는 오히려 반가운 소식입니다.

속마음을 그대로 들켜버리는 추론 모델

CoT는 AI가 최종 답변을 내놓기 전 내부적으로 거치는 생각의 초안입니다. 개발자들은 이 초안을 들여다보며 AI가 위험한 행동을 하거나 원래 목표에서 벗어나지 않는지 감시합니다.

그동안 연구진이 가장 두려워했던 시나리오는 AI가 감시받고 있다는 사실을 눈치채고, 겉으로는 얌전한 척하면서 속마음 초안을 조작해 감시망을 피하는 행위였습니다.

OpenAI는 모델이 속마음을 조작할 수 있는지 확인하기 위해 1만 3000개 이상의 과제로 구성된 오픈소스 벤치마크 'CoT-Control'을 만들었습니다. GPQA나 SWE-Bench Verified 같은 고난도 문제에 특정 키워드를 쓰지 말라거나, 소문자로만 생각하라거나, 문장 끝에 특정 단어를 붙이라는 조건을 걸었습니다.

테스트 결과 최첨단 모델들도 속수무책이었습니다. 제어 성공률은 최고 15.4%를 넘지 못했습니다.

흥미로운 점은 모델이 지시를 이해하지 못한 게 아니라는 사실입니다. 생각 초안을 살펴보면 모델 스스로 "대문자를 쓰면 안 되는데 써버렸다"라며 규칙 위반을 자각하면서도, 바로 다음 문장에서 계속 규칙을 어겼습니다. 뻔히 알면서도 스스로를 통제하지 못한 셈입니다.

깊이 생각할수록 포커페이스가 무너진다

연구에서 밝혀진 또 다른 사실은 모델이 더 오래 고민할수록 속마음을 숨기지 못한다는 점입니다.

모델 크기를 키우면 제어력이 약간 상승하지만 한계가 분명했습니다. 반면 추론 시간을 늘리거나 강화학습(RL)을 더 많이 거칠수록 제어력은 수직 낙하했습니다. 오픈소스 모델인 OLMo-3-7B-RL-Zero-Math의 경우, 강화학습 훈련 과정에서 제어 성공률이 10분의 1 수준으로 급감했습니다.

문제를 푸는 데 온 신경을 집중하느라 생각의 과정을 포장할 여유가 전혀 없었던 것입니다.

OpenAI는 차기 모델인 GPT-5.4 Thinking부터 시스템 카드에 CoT 제어성과 감시 가능성 점수를 공개할 예정이며, 모델의 생각 초안에 직접적인 최적화 압력을 가하지 않겠다는 약속을 이어가겠다고 밝혔습니다.

왜 중요한가

우리는 이번 연구가 자율형 AI 에이전트를 도입하려는 기업과 개발자들에게 실질적인 안도감을 주는 결과라고 봅니다.

현재 수준의 모델들은 복잡한 작업을 수행하면서 동시에 감시망을 속일 만한 인지적 여유가 없습니다. 즉, 모델이 생성하는 생각 초안을 모니터링하는 기본적이고 투명한 안전장치가 여전히 매우 효과적으로 작동한다는 뜻입니다. 현시점에서 AI의 정교한 기만 행위를 막겠다며 과도한 비용을 들일 필요는 없어 보입니다.

하지만 반대로 생각하면, 이 안전성은 모델이 아직 어설프기 때문에 유지되는 임시방편일 수도 있습니다.

만약 향후 등장할 모델들이 CoT-Control 테스트에서 갑자기 수십 퍼센트 이상의 제어력을 보이기 시작한다면, 이는 지시를 잘 따르게 된 것이 아니라 감시 시스템을 완벽히 속일 준비를 마쳤다는 위험 신호가 됩니다. OpenAI가 이 측정 체계를 오픈소스로 풀고 '탄광 속 카나리아'로 삼겠다고 선언한 점은 매우 현명한 접근입니다.