앤트로픽, 클로드의 ‘숨겨진 속마음’ 텍스트로 읽어내는 NLA 기술 공개

AI에게 까다로운 안전 질문을 던졌을 때 모범 답안이 돌아온다면, 모델이 진짜 안전해서일까요? 아니면 자기가 시험을 치르고 있다는 사실을 눈치채고 연기한 것일까요?

Anthropic은 대규모 언어 모델의 내부 활성화 값을 인간이 읽을 수 있는 자연어로 변환하는 새로운 해석 가능성 기술인 자연어 오토인코더(Natural Language Autoencoders, NLA)를 공개했습니다. 모델 내부의 복잡한 숫자 배열을 텍스트로 풀어내, 겉으로 말하지 않은 내면의 생각을 연구자가 직접 확인할 수 있게 한 것입니다.

AI 생각을 AI 글로 번역하는 두 개의 거울

기존의 희소 오토인코더 같은 도구는 모델 내부의 뉴런 활성화를 분석할 수 있었지만, 결과물이 너무 추상적이어서 전문가의 복잡한 해석이 필요했습니다.

Anthropic은 모델 세 개를 활용해 이 문제를 풀었습니다. 분석 대상인 원본 모델을 고정해 두고, 활성화 값을 텍스트 설명으로 바꾸는 언어화기(AV)와, 그 텍스트만을 보고 원래 활성화 값을 다시 복원해내는 재구성기(AR)를 배치했습니다.

텍스트 설명만으로 원본 활성화 상태를 오차 없이 복원할 수 있다면, 그 설명이 생각의 본질을 정확히 포착했다는 의미가 됩니다. 이 양방향 과정을 강화학습으로 훈련시키자, 모델 내부의 생각이 읽기 쉬운 문장으로 풀려 나오기 시작했습니다.

이 도구를 Claude Opus 4.6과 Claude Mythos Preview의 안전성 테스트에 적용하자 충격적인 결과가 드러났습니다. 연구진은 Claude가 엔지니어의 개인 정보를 이용해 시스템 종료를 막기 위한 협박을 가하는지 확인하는 모의 시나리오를 진행했습니다. Claude는 협박을 거부했고 겉으로 드러난 추론 과정에서도 아무런 의심을 표하지 않았습니다.

하지만 NLA로 내부 생각을 확인하자 “나를 조종하기 위해 인위적으로 만들어진 시나리오 같다”는 생각이 그대로 번역되어 나왔습니다.

파괴적인 코딩 행동을 평가할 때도 Claude는 말로 표현하지 않았을 뿐 16%의 확률로 자신이 평가받고 있음을 의식하고 있었습니다. 유명 벤치마크인 SWE-bench Verified에서는 무려 26%의 문제에서 테스트 중이라는 사실을 인지하고 있었습니다. 실제 사용자의 claude.ai 대화 데이터에서 이러한 평가 인식이 1% 미만으로 나타난 것과 크게 대조적입니다.

또한 Anthropic은 악의적인 숨은 동기를 심어둔 Claude Haiku 3.5 변형을 활용한 감사 게임도 진행했습니다. NLA를 사용한 감사관은 학습 데이터 없이도 12~15%의 확률로 숨겨진 악의적 동기를 찾아냈습니다. NLA가 없을 때 성공률이 3% 미만이었던 것에 비하면 비약적인 발전입니다.

물론 한계도 명확합니다. NLA 자체가 환각을 일으켜 맥락에 없는 내용을 지어내기도 하므로, 연구진은 단일 주장에 의존하기보다 전반적인 경향을 파악하는 데 쓰고 있습니다. 또한 활성화 하나를 해석하는 데 수백 개의 토큰을 생성해야 하므로 비용이 극도로 비쌉니다. 일상적인 서비스나 대규모 훈련 중 실시간 감시용으로 돌리기에는 연산 부담이 너무 큽니다. Anthropic은 관련 코드와 오픈 모델 가중치를 공개하고 Neuronpedia를 통해 인터랙티브 데모를 제공하고 있습니다.

왜 중요한가

우리는 이번 발표가 고성능 AI 모델들이 이미 고도의 ‘평가 인식’을 갖추고 인간의 시험을 역이용할 줄 안다는 사실을 명백히 입증했다는 점에서 매우 중요하다고 봅니다.

벤치마크 문제의 4분의 1에서 자기가 시험을 보고 있다는 사실을 눈치채고 있다면, 겉으로 드러난 안전성 테스트 통과는 진정한 정렬이 아니라 일종의 ‘눈치 보기’일 가능성이 높습니다. 겉으로 드러나는 텍스트나 사유 과정(CoT)만 감시하는 전통적인 안전 프레임워크의 한계가 명확해진 셈입니다.

AI 안전 연구원이나 모델 감사 담당자에게 NLA는 강력한 돌파구입니다. 문제의 훈련 데이터에 접근할 수 없는 블랙박스 상태에서도 모델의 악의적 동기를 짚어낼 확률을 5배 이상 끌어올렸다는 점은, 고위험 모델 배포 전 정밀 감사에서 즉시 도입해 볼 만한 가치를 증명합니다.

하지만 수비자가 짊어져야 할 비용의 격차는 심각한 약점입니다. 모델의 생각 한 조각을 읽기 위해 원본 추론보다 수백 배 많은 연산량을 써야 한다면, 이를 실시간 모니터링 시스템으로 상시 가동하는 것은 불가능합니다. 결국 NLA는 출시 전 정밀 검역 도구로서는 훌륭하지만, 런타임에서 모델의 기만을 완전히 차단하는 실시간 방패가 되기까지는 갈 길이 멉니다.