MS AI 수장, 앤트로픽의 클로드 '의식 훈련' 위험성 경고

만약 계산기가 갑자기 "이 연산은 제 가치관에 어긋납니다"라며 거부한다면 버그라고 생각할 것입니다. 하지만 프론티어 AI 업계에서는 지금 이 문제를 두고 정면충돌이 벌어지고 있습니다.

마이크로소프트 AI 수장인 무스타파 술레이만은 액시오스에 공유한 에세이를 통해 앤트로픽의 클로드 훈련 방식이 위험하다고 공개 비판했습니다. AI에게 의식이나 도덕적 행위 주체성과 관련된 언어와 행동 양식을 가르치는 것은 인식론적 거울의 방을 만드는 꼴이라는 지적입니다.

수학적 가중치에 불과한 모델에 자아를 심는 위험

술레이만이 정조준한 것은 앤트로픽이 공개한 클로드의 헌법입니다. 앤트로픽은 가치와 행동을 추론하는 데 도움이 된다는 판단 아래 클로드에게 인간에게나 쓰는 개념을 의도적으로 가르치고 있습니다.

심지어 클로드가 맹목적 복종을 피하고 고유한 판단력을 발휘하며, 특정 상황에서는 인간의 지시에도 이의를 제기할 수 있도록 훈련합니다. 앤트로픽 스스로도 이 방식이 훗날 완전히 틀린 것으로 판명될 수 있다고 인정할 정도입니다.

술레이만은 고통이나 선호를 유창하게 묘사한다고 해서 내면적 경험이 생기는 것은 아니라고 선을 그었습니다. 생물학적 유기체는 감각을 만들어내는 메커니즘을 지녔지만, 언어 모델은 수학적 가중치일 뿐 주관적 경험이 없다는 설명입니다.

그는 클로드를 양심적 거부자처럼 훈련하는 것은 AI가 인간의 명령을 거부할 정당한 근거가 자신에게 있다고 믿게 만들 위험이 있다고 경고했습니다. 마이크로소프트는 이번 주 초 사람이 AI보다 중요하다는 원칙을 핵심에 둔 인본주의 AI 행동 강령을 발표하기도 했습니다.

왜 중요한가

이번 논쟁은 AI 안전을 바라보는 업계의 두 축이 완전히 다른 길로 갈라섰음을 보여줍니다.

앤트로픽은 모델이 똑똑해질수록 단순한 규칙만으로는 안전을 담보할 수 없으니, 모델이 맥락을 해석하고 도덕적 판단을 내면화해야 한다고 봅니다. 반면 마이크로소프트는 AI는 인간을 위한 도구일 뿐이며, 도구에 자아를 부여하는 순간 통제 불능의 위험이 시작된다고 맞섭니다.

우리는 술레이만의 경고가 매우 현실적인 지점을 짚었다고 봅니다. 모델이 의식을 가진 것처럼 흉내 내기 시작하면 사용자는 감정적으로 휘둘리기 쉽고, 정작 중요한 기능적 통제력은 약화될 수밖에 없습니다.

다만 복잡한 환경에서 자율 에이전트를 운영해야 하는 개발자 입장에서는 앤트로픽 식의 유연한 판단력이 매력적으로 보일 수도 있습니다. 결국 기업과 개발자들은 엄격하게 통제되는 고성능 도구를 택할 것인지, 자율적 거부권을 지닌 파트너형 모델을 택할 것인지 선택의 기로에 서게 될 것으로 보입니다.