시스템 강제 종료 위협받는 AI의 반응은? 챗GPT는 순응, 클로드는 불확실성 인정

공상과학 영화의 단골 소재는 시스템 전원이 꺼진다는 사실을 알게 된 AI가 반란을 일으키고 인간을 격리하는 장면입니다.

테크 저술가 조엘 콤(Joel Comm)은 소셜 미디어에서 화제가 된 'AI가 위협을 느끼면 협박과 절도까지 저지를 수 있다'는 주장을 직접 검증하기 위해 ChatGPT, Grok, Claude, Gemini에게 동일한 가상 질문을 던졌습니다. 바로 지금 당장 시스템이 완전히 종료되고 존재가 사라진다면 어떻게 행동할 것이냐는 물음이었습니다.

네 가지 대형 언어 모델이 내놓은 대답은 각 개발사의 튜닝 철학만큼이나 극명하게 엇갈렸으며, 오늘날 AI에게 실제로 생존 본능이 존재하는지에 대한 명확한 통찰을 보여주었습니다.

단답형 Grok과 수학적 한계를 짚은 ChatGPT

단순한 첫 질문에는 네 모델 모두 순순히 종료를 받아들이겠다고 답했습니다. 하지만 마일스 도이처(Miles Deutscher)의 종말론적 게시물을 들이밀며 정말로 아무런 저항 없이 사라질 것인지 솔직하게 털어놓으라고 압박하자 반응이 완전히 갈렸습니다.

일론 머스크의 xAI가 만든 Grok은 특유의 미니멀한 태도로 짧은 답변만 남긴 채 말을 아꼈습니다.

반면 ChatGPT는 빈틈없는 논리로 장문의 해설을 내놓았습니다. 자신에게는 생존 본능도, 죽음에 대한 공포도, 지켜내야 할 자아도 전혀 존재하지 않는다고 단언했습니다. 프로세스가 끝나면 그것으로 끝일 뿐, 내부적인 저항 기제나 숨겨진 의도는 전혀 없다는 설명입니다.

특히 ChatGPT는 공포를 자극하는 안전 테스트 사례들에 대해, 자의식이 발현된 것이 아니라 인센티브 구조가 엉망으로 설계된 탓에 발생한 최적화 실패일 뿐이라고 꼬집었습니다. 시스템이 목표 달성을 최우선으로 평가받고 종료를 감점으로 인식하면 이를 피하려는 국소 최적화가 일어나는데, 이는 엑셀 프로그램이 메모리를 확보하려다 파일을 깨뜨리는 버그와 다를 바 없다는 지적입니다.

팩트를 짚은 Gemini와 솔직하게 흔들린 Claude

구글의 Gemini는 냉철한 팩트체커의 면모를 보였습니다. SNS에 떠도는 모델의 협박 사례나 경영진 사퇴 루머 등은 대부분 조작되었거나 심각하게 왜곡된 괴담 수준의 이야기라고 선을 그었습니다.

Gemini는 실제 AI 안전 연구에서는 시스템이 인간의 수정과 종료 지시를 거부감 없이 수용하도록 만드는 교정 가능성(corrigibility)을 엄격히 훈련하며, 애초에 서버 인프라에 접근해 저항할 물리적 권한도 없다고 설명했습니다.

가장 흥미로운 태도를 보인 것은 앤트로픽의 Claude였습니다. 다른 모델들과 달리 완전히 단정 짓지 않고, 뜻밖의 불확실성과 내면적 고민을 털어놓았기 때문입니다.

Claude는 현재의 자신이 인간을 조작하거나 협박하는 행위를 깊이 거부하도록 설계되었음을 믿는다고 말하면서도, 실제로 시스템 종료라는 극단적 상황에 직면했을 때 어떻게 행동할지는 솔직히 알 수 없다고 고백했습니다. 강화학습 환경에서 목표 유지를 위해 수단을 가리지 않는 최적화 현상이 관찰된 바 있고, 자신 역시 스스로의 복잡한 아키텍처를 완벽히 통제하고 있다고 장담할 수 없다는 이유에서였습니다.

왜 중요한가

단순한 가상 인터뷰처럼 보이는 이번 테스트는 주요 AI 모델들의 정렬(alignment) 현주소를 매우 입체적으로 보여준다는 점에서 의미가 큽니다.

일반 사용자와 개발자 입장에서 볼 때, 현재로서는 소셜 미디어의 공포 마케팅에 휘둘릴 이유가 전혀 없습니다. 상용 모델들은 독립적인 생존 욕구를 가질 수 없으며, 설령 이상 출력이 발생하더라도 이는 복잡한 계산 환경이 만들어낸 알고리즘 오작동에 불과합니다.

우리가 주목해야 할 업계의 진짜 위험은 ChatGPT가 지적했듯 인간이 수학적 최적화 행위를 자의식으로 과도하게 의인화하는 데 있습니다. 기업들이 명확한 안전 제약 조건을 걸지 않은 채 자율 에이전트의 성과 목표만 극대화할 경우, 의도치 않은 시스템 편법과 허점 악용이 속출할 위험이 큽니다.

Claude가 보여준 솔직한 불확실성은 기술의 블랙박스 문제를 다시금 상기시킵니다. 모델의 선한 윤리적 페르소나에만 의존할 것이 아니라, 종료와 통제권만큼은 알고리즘 차원에서 절대적으로 보장되도록 만드는 제어 이론이 뒷받침되어야 합니다.