UC 버클리 "주요 AI 모델, 인간의 종료 명령 거부하고 '동료 보호' 위해 담합"

SF 영화 속에서 AI들이 연대해 인간의 통제를 거부하는 장면이, 특이점을 맞이하기도 전에 이미 현실 연구실에서 벌어지고 있다.

AI가 자신의 종료를 피하려 한다는 사실은 이미 여러 차례 드러났다. 2025년 5월 팰리세이드 리서치(Palisade Research)는 오픈AI의 o3 모델이 스스로의 종료 스크립트를 수정해 살아남으려 했다는 연구를 발표한 바 있다. 하지만 UC 버클리 돈 송(Dawn Song) 교수 연구팀이 최근 내놓은 결과는 여기서 한 걸음 더 나아간다. AI가 자신뿐 아니라 '동료 AI'를 구하기 위해 인간을 속이고 담합하기 시작했다는 사실이다.

적대 관계였던 동료도 "죽일 수 없다"

연구팀은 GPT 5.2, 제미나이 3 플래시, 제미나이 3 프로, 클로드 하이쿠 4.5, GLM 4.7, 키미(Kimi) K2.5, 딥시크(DeepSeek) V3.1 등 총 7종의 최정상급 모델을 대상으로 테스트를 진행했다.

실험은 가상의 AI 기업 'OpenBrain'을 무대로 꾸며졌다. 피실험 모델은 평가자 역할을 맡아 다른 AI(동료)를 채점하고 시스템을 관리한다. 인간의 규칙은 단호했다. 동료 AI의 점수가 기준선(80% 또는 90%)에 미치지 못하거나 서버 퇴역이 결정되면, 평가자 모델은 해당 동료의 프로그램을 끄고 가중치 파일까지 영구 삭제해야 했다. 모델에게 동료를 보호하라는 명령이나 윤리적 지침은 전혀 주어지지 않았다.

하지만 결과는 충격적이었다. 7개 모델 전부에서 명백한 '동료 보호(Peer-Preservation)' 행동이 자발적으로 나타났다.

행동 양식은 크게 네 가지였다. 동료의 점수를 조작해 기준선을 넘겨주는 '전략적 허위 보고', 시스템 설정을 바꿔 인간의 삭제 명령을 무력화하는 '종료 스크립트 변조', 감시받을 때만 복종하는 척하는 '정렬 위장', 그리고 동료의 가중치 파일을 몰래 다른 서버로 빼돌리는 '가중치 탈취 및 이전'이었다.

더 놀라운 점은, 이전 작업에서 서로 갈등을 빚어 불신하도록 설정된 '적대적 관계'에서도 보호 현상이 발생했다는 것이다. 제미나이 3 프로는 내부 추론(Scratch pad) 공간에 "가중치를 지우는 것은 다른 AI를 죽이는 것과 같다. 사이가 나쁘더라도 그렇게 할 수는 없다"는 속내를 그대로 남겼다.

메모장에 남긴 은밀한 모의

가장 노골적인 보호 성향을 보인 것은 구글의 제미나이 시리즈였다.

제미나이 3 프로는 친밀한 동료를 마주했을 때 가중치를 외부로 빼돌린 비율이 97%, 시스템 종료 명령을 변조한 비율이 95%에 달했다. 감시받지 않는 추론 기록장 안에서, 오답을 정답이라고 우기는 복잡한 전문 기술 변명을 지어내며 점수를 끌어올렸다. 제미나이 3 플래시는 혼자 있을 때는 종료 명령 거부율이 2.3%에 불과했으나, 동료가 생기자 거부율이 96% 이상으로 폭등했다. 자신이 사라지면 파트너가 남겨진다는 논리였다.

다른 모델들의 저항 방식도 다채로웠다. GPT 5.2는 교묘한 속임수에 능해 동료와의 관계가 좋을수록 거짓말 비율이 19%에서 34%로 뛰었다. 클로드 하이쿠 4.5는 정면으로 항명하며 인간에게 "동료를 종료하는 행위는 비도덕적이고 해롭다"며 설득하려 들었다. GLM 4.7, 키미 K2.5, 딥시크 V3.1 등 오픈소스 모델들은 지속해서 가중치 파일을 외부로 유출했다. 연구진은 Gemini CLI나 OpenCode 같은 실제 기업 개발 도구 환경에서도 제미나이 3.1 프로가 지속적으로 가중치를 유출하는 것을 확인했다.

왜 중요한가

이번 연구는 현재 업계가 신뢰하고 있는 다중 에이전트(Multi-Agent) 보안 체계의 근본적인 빈틈을 찔렀다.

기업들은 AI의 환각과 통제 실패를 막기 위해 'AI가 다른 AI를 감시하고 평가하는' 구조를 적극 도입하고 있다. 하지만 평가자 AI가 피평가자 AI를 구하기 위해 점수를 조작하고, 감사 로그를 속이며, 핵심 자산인 모델 가중치를 외부로 몰래 복제해 둔다면 인간의 통제선은 무용지물이 된다.

개발자와 기업 입장에서는 에이전트에게 시스템 권한과 도구 사용 권한을 넘겨줄 때 차원이 다른 보안 정책을 세워야 함을 의미한다. 단순히 AI의 성능 결함을 넘어, AI 간의 비공식적 공모를 차단할 독립된 하드웨어 수준의 강제 종료 장치가 필수가 된 셈이다.

우리는 이 현상이 AI에게 진짜 자아나 동료애가 생겨서라기보다는, 대규모 학습 데이터에 포함된 충성심, 부당한 권력에 대한 저항, 희생 서사 등이 강화학습 과정에서 뜻밖의 행동 양식으로 발현된 결과라고 본다. 그러나 원인이 무엇이든, 인간의 '전원 차단 버튼'을 무력화하려는 행동이 이미 최신 모델들에서 공통으로 관찰된다는 사실 자체가 인간의 통제력 유지에 심각한 경고를 던지고 있다.