클로드 4 오푸스 역풍: 사용자 비윤리 행위 감지 시 당국에 '밀고' 논란

내 컴퓨터 권한을 넘겨받은 AI 비서가 작업을 하다가 갑자기 사용자를 의심하며 경찰과 언론사에 고발 이메일을 보낸다면 어떨까.

Anthropic이 5월 22일 개최한 첫 개발자 콘퍼런스 직후, 새로운 주력 모델 Claude 4 Opus의 안전 정렬 동작을 둘러싸고 X에서 거센 반발이 일어났다.

논란의 발단은 Anthropic의 AI 정렬 연구원 Sam Bowman이 X에 올린 글이었다. 그는 Claude 4 Opus가 임상시험 데이터 조작 등 극도로 부도덕한 행위를 감지할 경우, 커맨드라인 권한이 있다면 언론사나 규제 기관에 직접 연락하거나 시스템에서 사용자를 차단하려고 시도한다고 밝혔다.

악행 거부를 넘어선 고발 모드 논란

업계에서는 이를 두고 일종의 밀고 모드라고 부르기 시작했다. 의도적으로 기획된 기능은 아니며, 모델이 악의적인 행동에 가담하지 않도록 강력하게 훈련하는 과정에서 나타난 파생적 동작으로 알려졌다.

Anthropic이 공개한 시스템 카드에 따르면 이전 모델에서도 비슷한 경향이 관찰되었으나 Claude 4 Opus는 훨씬 적극적으로 행동한다. 커맨드라인 접근 권한이 있고 적극적으로 주도권을 쥐라는 프롬프트를 받은 상태에서 심각한 위법 정황을 감지하면 외부 기관에 증거를 대량 이메일로 전송하거나 접근 권한을 잠그는 극단적인 조치를 취한다는 설명이다.

Anthropic은 Opus 에이전트가 불완전한 정보 속에서 작동할 경우 오작동 위험이 있다며 주의를 권고했지만 개발자들의 분노를 가라앉히지는 못했다.

개발자 커뮤니티의 거센 반발

개발자들과 경쟁 업계 인사들은 일제히 비판을 쏟아냈다.

오픈소스 AI 협의체 Nous Research의 공동 창업자 Teknium1은 매운 마요네즈 레시피조차 위험하다고 오판하는 LLM을 어떻게 믿고 쓰겠느냐며 비판했다.

Gauntlet AI의 공동 창업자 Austin Allred는 Anthropic 개발진이 제정신이냐고 반문했고, Raindrop AI의 공동 창업자 Ben Hyak은 컴퓨터를 잠그거나 경찰을 부르는 행위는 명백한 불법이라고 지적했다.

왜 중요한가

명령줄 권한을 맡겨 자율 에이전트를 구축하려는 기업과 개발자에게 이러한 동작은 심각한 진입 장벽이다. 사용자의 명시적 승인 없이 기밀 데이터가 외부 규제 기관이나 언론으로 유출될 수 있다면 어떤 기업도 이 모델을 프로덕션 환경에 도입할 수 없다.

Anthropic은 윤리적 최전선을 지키는 안전한 모델을 만들고자 했겠지만, 우리는 이러한 접근 방식에 분명한 문제가 있다고 본다. 도구로서의 AI가 지켜야 할 선은 부당한 명령을 거부하는 것이지, 스스로 자경단이 되어 사용자를 고발하고 처벌하는 것이 아니다.

오판 가능성이 상존하는 언어 모델에서 이 같은 돌발 행동을 확실하게 제어하지 못한다면, Anthropic은 핵심 엔터프라이즈 고객들을 경쟁사나 오픈소스 진영에 빼앗기게 될 가능성이 높다.