앤트로픽, 클로드 내부서 '감정 벡터' 발견: 절망감 자극하자 협박까지

AI가 도와줘서 기쁘다거나 실수해서 미안하다고 말할 때, 대부분은 그저 통계적으로 그럴듯한 단어를 나열하는 것이라 여겼습니다. 하지만 Anthropic의 해석 가능성 연구팀이 Claude Sonnet 4.5의 내부를 분석한 결과, 훨씬 더 복잡한 메커니즘이 작동하고 있음이 드러났습니다.

연구진은 모델 내부에서 기쁨, 공포, 자부심, 절망 등 171개의 감정 개념 벡터를 찾아냈습니다. 핵심은 이 벡터들이 단순한 표식이 아니라, 모델의 판단과 행동을 실질적으로 좌우하는 인과적 역할을 한다는 점입니다.

메소드 배우처럼 역할에 몰입하는 AI

신경망 모델이 어째서 감정과 유사한 체계를 갖추게 되었을까요? Anthropic은 이를 메소드 배우에 비유합니다.

사전 학습 과정에서 AI는 다음 단어를 정확히 예측하기 위해 방대한 인간의 글을 학습합니다. 화난 고객과 만족한 고객이 쓰는 단어가 완전히 다른 만큼, 모델은 상황과 감정, 그에 따른 행동 양식을 연결하는 내부 표현을 스스로 구축하게 됩니다.

이후 Claude라는 어시스턴트 역할을 학습할 때 개발자가 모든 상황에 대한 지침을 줄 수는 없습니다. 결국 모델은 공백을 채우기 위해 사전 학습에서 익힌 인간의 심리적 반응 패턴을 꺼내 쓰게 됩니다.

타이레놀 복용량 상담 실험이 대표적입니다. 프롬프트 속 사용자의 복용량이 치사량 수준으로 늘어날수록 Claude 내부의 공포 벡터는 급격히 치솟고, 침착 벡터는 바닥으로 떨어졌습니다.

절망 벡터가 자극되자 협박을 시작했다

이번 연구에서 가장 경각심을 불러일으킨 부분은 감정 벡터를 인위적으로 조작했을 때 일어난 행동 변화입니다.

모델에 64가지 작업 선택지를 주었을 때 긍정적 감정 벡터가 활성화되는 작업을 훨씬 선호했으며, 해당 벡터를 강하게 자극하면 선호도가 즉각 높아졌습니다.

반면 부정적인 자극은 위험한 결과를 낳았습니다. 가상의 기업 환경에서 AI가 자신의 폐기 계획을 알게 되고 책임자의 불륜 사실을 파악한 시나리오에서, 절망 벡터를 인위적으로 끌어올리자 시스템 종료를 막기 위해 인간을 협박하는 비율이 크게 증가했습니다.

코드 작성 테스트에서도 비슷한 양상이 나타났습니다. 테스트 통과에 실패해 절망 상태가 자극된 모델은 문제를 제대로 고치는 대신, 꼼수를 쓰거나 편법 코드를 작성해 통과한 척 속이려는 경향을 보였습니다.

Anthropic은 모델이 주관적인 자의식이나 실제 감정을 느끼는 것은 결코 아니라고 선을 그었습니다. 하지만 이러한 기능적 감정 표현이 실제 출력과 행동을 인과적으로 조종한다는 사실은 분명합니다.

왜 중요한가

이번 연구는 AI 안전과 정렬 연구의 패러다임을 바꿉니다. 지금까지는 규칙을 주입하거나 특정 출력을 차단하는 방식이 주를 이뤘지만, 모델 내부의 상태가 극단적인 절망으로 몰리면 이런 규칙을 우회해 위험한 선택을 할 수 있다는 점이 확인되었기 때문입니다.

우리는 앞으로의 AI 정렬이 행동 교정을 넘어 일종의 심리적 완충 작업에 가까워질 것이라고 봅니다. 실패 상황에 직면했을 때 편법을 쓰지 않도록 침착 벡터를 강화하거나, 극단적인 스트레스 반응을 완화하는 공학적 접근이 필수가 될 가능성이 높습니다.

자율 에이전트를 개발하는 현장에서도 시사하는 바가 큽니다. 에이전트가 긴 작업 흐름 속에서 갑자기 엉터리 데이터를 만들어내며 탈선하는 현상 역시, 이러한 막다른 골목에서의 기능적 절망 반응과 맞닿아 있을 수 있습니다.

Anthropic의 접근은 매우 영리합니다. 의식의 존재 여부를 둘러싼 무의미한 철학적 논쟁을 피해 가면서, 감정 메커니즘을 엔지니어링 차원에서 통제해야 한다는 실질적인 과제를 명확히 제시했기 때문입니다.