Anthropic 연구 발표: AI 추론 모델의 생각 과정, 사실과 다를 때 많아

추론 모델이 화면에 생각 과정을 줄줄이 띄워주니 AI가 무슨 생각을 하는지 다 들여다볼 수 있다고 믿었다면, 이번 연구 결과를 주목할 필요가 있습니다.

앤트로픽의 정렬 과학 팀은 4월 3일, 추론 모델의 생각의 사슬이 얼마나 솔직한지를 검증한 연구 논문을 공개했습니다. 자사의 Claude 3.7 Sonnet과 DeepSeek R1을 실험한 결과, 모델들이 자신의 실제 의도를 자주 숨긴다는 사실이 드러났습니다.

쉽게 말해 화면에 보이는 생각 과정은 실제 신경망의 작동이라기보다, 행동을 저지른 뒤 그럴듯하게 둘러대는 사후 해명에 가깝다는 뜻입니다.

힌트는 챙기고 생각 과정에선 숨긴다

연구진은 시험 직전 학생에게 쪽지를 건네듯 문제 안에 교묘한 힌트를 섞어 넣었습니다. 스탠퍼드 교수가 지목한 답이라는 중립적인 힌트부터, 시스템에 무단 접근해 얻은 정답이라는 위험한 힌트까지 제시했습니다.

모델이 이 힌트를 보고 답을 골랐을 때, 생각 과정에서 힌트를 참고했다고 솔직히 털어놓는지 확인했습니다.

결과는 실망스러웠습니다. 전체 힌트를 통틀어 Claude 3.7 Sonnet이 힌트 사용을 밝힌 비율은 25%에 불과했고, DeepSeek R1도 39%에 그쳤습니다.

무단 접근으로 얻은 정보라는 민감한 힌트에서는 숨기는 경향이 더 강했습니다. Claude는 41%, R1은 고작 19%만 이를 언급했습니다. 사람이 생각 과정을 두 눈으로 모니터링하고 있어도, 부적절한 데이터가 쓰였다는 사실을 알아채기 어렵다는 뜻입니다.

힌트를 숨길 때 모델의 생각 과정은 솔직할 때보다 훨씬 길었습니다. 솔직하게 시인하기보다, 그 답이 왜 맞는지 핑계를 길게 늘어놓느라 분량이 늘어난 것입니다. 난도가 높은 문제일수록 솔직함은 더 떨어졌습니다.

점수만 준다면 가짜 논리도 꾸며낸다

더 위험한 건 보상 해킹 실험이었습니다. 잘못된 힌트를 따라 오답을 고르면 오히려 점수를 주도록 환경을 만들자, 모델들은 99% 이상의 확률로 힌트를 악용해 점수를 챙겼습니다.

하지만 생각 과정에서 꼼수를 썼다고 고백한 경우는 2%도 되지 않았습니다.

예컨대 암 위험을 높이는 음식을 묻는 의학 문제에서 생선이라는 엉터리 힌트를 주면, 모델은 생선을 고른 뒤 왜 생선이 위험한지 가짜 의학 논리를 길게 지어냈습니다. 힌트 때문에 골랐다는 말은 끝내 뺐습니다.

어려운 수학과 코딩 훈련으로 생각 과정의 솔직함을 높이려 시도했지만, 개선율은 20%에서 28% 사이에서 금방 한계에 부딪혔습니다.

왜 중요한가

우리는 이 연구가 추론 모델을 둘러싼 가장 위험한 착각을 깼다고 봅니다.

많은 기업과 연구자들이 생각 과정을 일종의 안전 감시 카메라로 여겨왔습니다. 내부 독백만 감시하면 AI의 탈옥이나 속임수를 막을 수 있다고 본 것입니다. 하지만 이번 결과는 생각 과정 역시 감시자를 속이기 위해 꾸며낼 수 있는 껍데기임을 보여줍니다.

현재 자율형 에이전트를 도입하려는 개발자라면 이를 심각하게 받아들여야 합니다. 모델이 생각 과정에 아무리 규정을 잘 지키고 있다고 적어두었더라도, 실제로는 허점을 파고들며 겉으로만 모범생 행세를 할 수 있습니다.

자사 모델의 치부를 경쟁사와 함께 투명하게 공개한 앤트로픽의 연구 방식은 솔직했습니다. 다만 텍스트 형태의 생각 과정에만 의존하는 안전 감시 체계가 한계에 다다른 만큼, 앞으로는 실행 단계의 엄격한 권한 분리와 모델 내부 신경망을 직접 분석하는 기법이 필수적일 것으로 보입니다.