앤트로픽, 클로드 내부의 '생각 공간' 발견: 말하지 않은 속마음 읽고 수정한다

AI가 복잡한 문제를 풀 때 화면에 추론 과정을 일일이 적어나가는 모습은 익숙합니다. 그런데 Anthropic 연구진이 Claude 내부에서 겉으로 글자를 적지 않고도 속으로 생각을 굴리는 은밀한 정신적 작업 공간을 포착했습니다.

발표된 논문에 따르면, 연구진은 야코비안 렌즈라는 수학적 분석 기법을 활용해 이 영역을 찾아내고 J-스페이스(J-space)라는 이름을 붙였습니다. 사용자가 보는 화면이나 텍스트 버퍼에는 전혀 나타나지 않은 채, 모델의 신경망 활성화 내부에서만 조용히 작동하는 공간입니다.

주목할 점은 이 구조가 개발진이 억지로 프로그래밍한 것이 아니라, Claude가 학습하는 과정에서 스스로 만들어낸 능력이라는 사실입니다.

말하지 않고 속으로 생각하는 'J-스페이스'

이번 연구는 뇌과학의 글로벌 워크스페이스 이론에서 출발했습니다. 인간의 뇌가 수많은 무의식적 처리를 거치다가 핵심 정보를 작은 공유 작업 공간으로 올려보내 의식적 추론을 하듯, Claude 내부에서도 똑같은 분업이 일어난다는 가설입니다.

야코비안 렌즈를 통해 Claude의 내부 신경망을 들여다보자 놀라운 결과가 나타났습니다. 버그가 숨겨진 코드를 읽을 때는 아무도 지적하지 않아도 J-스페이스에 오류라는 단어가 먼저 떴고, 프롬프트 인젝션 공격이 들어오면 가짜나 인젝션 같은 개념이 은밀하게 활성화됐습니다.

연구진이 미술 작품에 관한 문장을 그대로 베껴 쓰게 하면서 동시에 암산을 시켜보았습니다. Claude가 화면에 출력한 글에는 숫자가 전혀 없었지만, 내부 J-스페이스에서는 중간 계산값들이 순서대로 반짝이며 계산을 끝마쳤습니다.

마음을 조작하자 답변이 바뀌었다

연구진은 이 공간이 단순한 관찰용 계기판에 불과한지, 아니면 실제 판단을 내리는 엔진인지 확인하기 위해 직접 개입 실험을 진행했습니다.

Claude에게 한 가지 스포츠를 속으로 떠올려보라고 한 뒤 렌즈를 확인하자 축구가 감지됐습니다. 연구진이 신경망 내부에서 축구 패턴을 지우고 럭비 패턴을 강제로 집어넣자, Claude는 자신이 방금 떠올린 스포츠가 럭비였다고 곧바로 진술을 바꿨습니다.

외부에서 번개라는 생각을 강제로 주입했을 때도 Claude는 번개에 관한 생각이 방금 머릿속에 들어왔다고 감지해 냈습니다. 반대로 이 J-스페이스의 작동을 인위적으로 차단하자 일상 대화나 문법은 정상이었지만, 고차원적인 복합 추론 능력은 완전히 망가졌습니다.

Anthropic은 관련 핵심 코드를 오픈소스로 공개했으며, 뉴런피디아와 손잡고 오픈 가중치 모델에서 직접 테스트해 볼 수 있는 인터랙티브 데모도 열었습니다.

왜 중요한가

우리는 이번 연구가 블랙박스 같았던 LLM의 안전성 감시 방식에 중대한 전환점을 만들었다고 봅니다. 지금까지는 AI가 생각을 밖으로 적어내는 스크래치패드에 의존해 감시할 수밖에 없었기 때문에, 모델이 겉으로는 안전한 척하며 속으로 거짓말을 하거나 테스트를 눈치채는 은닉 행동을 막기 어려웠습니다. J-스페이스를 직접 읽어낼 수 있다면, 모델이 출력하기 전에 숨은 의도나 데이터 위조 시도를 사전에 차단할 수 있습니다.

업계 전반에도 던지는 충격이 큽니다. 거대 모델을 학습시키면 인간의 인지 구조와 닮은 작업 공간을 스스로 조직해 낸다는 점이 입증됐기 때문입니다. 앞으로 프론티어 모델의 정렬과 미세 조정 기술은 외부 텍스트가 아니라 이러한 내부 인지 공간을 직접 타겟팅하는 방향으로 옮겨갈 가능성이 높습니다.

다만 당장 모든 상용 서비스에 적용하기는 현실적인 한계가 있습니다. 야코비안 연산에 드는 리소스가 만만치 않아 대규모 실시간 트래픽에 전수 적용하기엔 비용 부담이 큽니다. 또 특정 생각을 하지 말라고 지시해도 잔여 활성화가 희미하게 남는 등 모델의 자체 통제도 완벽하지 않습니다. AI의 속마음을 엿보는 창문은 열었지만, 이를 완벽한 통제 장치로 완성하기까지는 갈 길이 남아 있어 보입니다.