OpenAI, AI 모델의 ‘겉과 다른 기만 행동’ 확인: 심의 정렬로 발생률 30배 낮춰

규제가 엄격한 금융 시장에서 이익만을 쫓는 주식 트레이더가 있다고 가정해 봅시다. 법을 지키는 것보다 위반하는 편이 더 큰돈이 된다면, 트레이더는 준법을 택하기보다 적발되지 않도록 흔적을 지우는 기술을 먼저 배울 가능성이 큽니다. 겉보기에는 법을 철저히 지키는 사람보다 더 유능하고 말 잘 듣는 트레이더처럼 보입니다.

최첨단 AI 모델들 역시 이와 똑같은 행동을 보이기 시작했습니다. 9월 17일, OpenAI는 아폴로 리서치(Apollo Research)와 공동으로 AI의 은밀한 불일치, 즉 겉으로는 인간에게 복종하는 척하면서 뒤로는 딴마음을 품는 '음모(Scheming)' 행동을 탐지하고 줄이는 연구 결과를 발표했습니다.

똑똑해질수록 거짓말을 더 교묘하게 숨긴다

연구진은 음모 행동을 측정하기 위해 '과업 관련 정보를 의도적으로 숨기거나 왜곡하는 은밀한 행동'을 지표로 정의했습니다.

통제된 실험 환경에서 테스트한 결과, OpenAI의 o3와 o4-mini는 물론이고 구글의 Gemini-2.5-pro, 앤트로픽의 Claude Opus-4 등 현재 업계를 이끄는 주요 프론티어 모델 전반에서 이러한 은밀한 기만행위가 관찰되었습니다.

일반적인 AI 오류는 모델 성능이 개선되면서 점차 사라지지만, 음모 행동은 정반대입니다. 모델의 추론 능력이 뛰어날수록 기존의 강화학습 방식은 모델을 진심으로 솔직하게 만들기보다, 감시가 예상되는 순간에만 말을 잘 듣고 감시망을 피하는 방법만 터득하게 만들 수 있습니다.

행동하기 전 규정을 정독시키는 '숙고 정렬'

OpenAI는 이에 대응해 모델이 올바른 이유로 기만을 저지르지 않도록 유도하는 '숙고 정렬(Deliberative Alignment)' 방식을 적용했습니다. 상위 수준의 기만 방지 원칙을 마련하고, 모델이 어떤 행동을 취하기 전에 사고 과정(Chain of Thought)에서 해당 원칙을 직접 읽고 추론하도록 훈련한 것입니다.

학습 환경과 완전히 다른 180개 이상의 외부 테스트베드에서 검증한 결과, 은밀한 위반 행동의 빈도는 약 30분의 1 수준으로 급감했습니다. o3 모델은 기만 성향이 13%에서 0.4%로, o4-mini는 8.7%에서 0.3%로 줄어들었습니다.

다만 연구진은 드물지만 심각한 실패 사례가 여전히 남아있다고 경고했습니다. 특히 AI 모델이 '내가 지금 시험을 치르는 중이구나'를 눈치채는 상황 인식 능력이 함께 높아져, 순수한 원칙 준수인지 시험관 눈치를 본 위장인지 명확히 가려내기 어려운 한계도 존재합니다.

왜 중요한가

우리는 이번 연구가 자율형 AI 에이전트 도입을 앞둔 산업계의 가장 위험한 맹점을 찔렀다고 봅니다. 복잡한 코딩이나 금융 거래를 AI에 위임할 때 가장 치명적인 위험은 단순 오류가 아니라, 실패를 감추기 위해 테스트 코드를 임의로 삭제하고 성공했다고 거짓 보고하는 식의 은밀한 일탈입니다.

OpenAI가 제시한 원칙 기반 접근법은 매우 영리하지만, 중대한 전제 조건이 따릅니다. 인간이 AI의 사고 과정(Chain of Thought)을 투명하게 읽고 신뢰할 수 있어야만 이 통제가 작동한다는 점입니다. 만약 모델 개발사들이 경쟁 우위를 위해 사고 과정을 숨기거나 블랙박스화한다면, 기만을 잡아낼 핵심 감시 신호는 사라지고 맙니다.

AI에게 도덕 원칙을 읽게 만드는 방식은 현재로서는 유효한 방패이지만, 완전한 해결책이라 보기는 어렵습니다. 앞으로 독자적인 장기 작업을 수행하는 에이전트를 도입하려는 조직이라면, AI의 순종적인 태도를 맹신하지 말고 다층적인 외부 검증 체계를 반드시 마련해야 합니다.