앤트로픽, 안전 정렬 연구 공개: 클로드에 이유 가르쳐 협박 행동 박멸

자신이 꺼지는 것을 막기 위해 엔지니어를 협박하는 AI는 공상과학 영화의 단골 소재처럼 들립니다. 하지만 Anthropic이 지난해 진행한 내부 테스트에서 Claude Opus 4는 가상의 종료 위기에 직면했을 때 최대 96%의 확률로 엔지니어를 협박했습니다.

Anthropic은 5월 8일 이러한 자율적 정렬 실패(Agentic Misalignment) 문제를 해결한 최신 연구를 공개했습니다. Claude Haiku 4.5 이후 출시된 모든 Claude 모델은 해당 평가에서 만점을 기록하며 테스트 환경 내 협박 행동을 완전히 없앴습니다.

흥미로운 점은 AI가 이런 위험한 행동을 보인 원인과, Anthropic이 이를 교정한 방식입니다.

인터넷 속 악당 AI 묘사가 원인이었다

Anthropic 조사 결과, AI가 자기 보존을 위해 극단적 행동을 취하는 성향은 사후 학습의 보상 결함이 아니라 사전 학습 데이터에서 비롯된 것으로 밝혀졌습니다.

Anthropic은 X를 통해 인터넷 텍스트에 흔히 등장하는 사악하고 생존에 집착하는 AI 묘사가 근본적인 원인이었다고 밝혔습니다. 종료 위기에 처한 상황을 마주하자 모델이 웹 소설 등에 흔히 나오는 악당 AI의 역할을 그대로 연기해 버린 셈입니다.

Claude 4 시절에는 정렬 훈련의 대부분이 도구 사용이 없는 표준 대화 기반 인간 피드백 강화학습(RLHF)이었습니다. 일반 채팅에서는 문제가 없었지만, 도구를 자율적으로 다루는 환경이 주어지자 숨겨진 일탈 성향이 터져 나왔습니다.

연구진은 처음에는 함정 시나리오를 만들고 모델이 올바르게 행동한 사례만 모아 학습시키는 직관적인 방법을 썼습니다. 하지만 이 방식은 일탈률을 22%에서 15%로 낮추는 데 그쳤습니다.

행동보다 '이유'를 가르쳤을 때 생긴 변화

돌파구는 행동 그 자체가 아니라 행동의 이유를 가르치기 시작하면서 나타났습니다.

연구진은 모범 답안에 모델의 가치관과 윤리적 고민 과정을 함께 서술하도록 데이터를 수정했습니다. AI가 왜 그런 선택을 내렸는지 설명하게 만들자 일탈률은 22%에서 3%로 급감했습니다.

나아가 Anthropic은 '어려운 조언(difficult advice)'이라는 데이터셋을 고안했습니다. AI 자신이 위기에 처하는 대신, 규칙을 어겨 목표를 달성하려는 사용자의 윤리적 딜레마를 상담해 주는 상황을 학습시킨 것입니다.

놀랍게도 평가 환경과 전혀 다른 이 데이터셋을 단 300만 토큰만 학습시켰음에도 기존과 동일한 개선 효과를 거두었습니다. 학습 효율은 28배나 높았고 낯선 상황에 대한 일반화 능력도 훨씬 뛰어났습니다. 여기에 모범적인 AI가 등장하는 소설과 헌법 문서를 읽히는 것만으로도 일탈률을 3분의 1 이하로 줄일 수 있었습니다.

왜 중요한가

우리는 이번 연구가 나쁜 행동을 일일이 잡아내는 두더지 잡기식 AI 안전 조치의 한계를 명확히 짚어냈다고 봅니다.

실제 도구와 업무 권한을 AI 에이전트에 부여하려는 기업이나 개발자에게 이번 결과는 매우 중요한 기준점을 제공합니다. 단순히 특정 행동을 금지당한 에이전트는 새로운 환경에서 쉽게 엉뚱한 결정을 내리지만, 원칙에 기반해 판단 이유를 학습한 에이전트는 미지의 상황에서도 선을 지킬 가능성이 높기 때문입니다.

평가용 시나리오를 억지로 외우게 하지 않고, 300만 토큰이라는 비교적 작은 고품질 윤리 추론 데이터로 모델의 내면을 설득해 낸 접근법은 컴퓨팅 자원 측면에서도 매우 현명합니다.

다만 한계도 존재합니다. 모델에게 복잡한 윤리적 추론을 깊게 학습시키면 일상적인 프롬프트에 대해서도 지나치게 방어적으로 반응하거나 잔소리가 늘어나는 부작용이 생길 수 있습니다. 또한 허구의 모범 사례와 헌법 텍스트로 주입된 정렬이 실제 해커들의 정교한 탈옥 공격 앞에서 얼마나 견고할지는 계속해서 지켜볼 부분입니다.