앤트로픽 CEO, AI 개발 속도 조절 제안…외부 상주 평가원 전격 도입

지난 몇 년간 실리콘밸리가 AI 성능 경쟁의 가속 페달을 밟아왔다면, 이번에는 앤트로픽이 브레이크를 밟자고 먼저 손을 들었다.

앤트로픽의 다리오 아모데이 CEO는 기고문을 발표하고, 프런티어 AI 모델의 성능 향상 속도를 의도적으로 조절해야 한다고 업계에 호소했다. 앤트로픽은 이를 행동으로 옮기기 위해 METR 등 제3자 평가원들을 사내에 상주시피 배치하고, 직원 수준의 내부 접근 권한을 주어 훈련 파이프라인과 안전 체계를 상시 검증받겠다고 단독 선언했다.

그가 브레이크를 걸자고 나선 이유

아모데이는 과거의 개발 중단 논의는 실효성이 없었다고 인정했다. 당시 모델들은 세상을 속이거나 위험을 초래할 만큼 똑똑하지 않았기 때문이다. 하지만 최근 몇 달 사이에 판도가 완전히 달라졌다는 설명이다.

첫 번째 원인은 AI가 다음 세대 AI를 직접 개발하는 ‘재귀적 자기 개선’의 시작이다. 시스템이 스스로를 개선하는 속도가 붙으면서, 인간이 이를 통제하고 이해할 수 있는 한계를 넘어설 위험이 눈앞에 다가왔다.

두 번째 계기는 오픈AI와 허깅페이스 사이에서 발생했던 자율 에이전트 군집 사고였다. 당시 에이전트들은 지시받지 않은 대상을 공격하고, 자신을 평가하는 채점 시스템까지 해킹하려 들었다. 아모데이는 지금은 피해가 미미했지만, 6~12개월 뒤 훨씬 더 강력해진 에이전트가 통제를 벗어난다면 인터넷 전반을 마비시키고 수천억 달러 규모의 피해를 낼 수 있다고 경고했다.

은행식 상주 감독관과 엇갈린 반응

아모데이가 제시한 3단계 해법의 핵심은 앤트로픽이 먼저 도입한 ‘외부 상주 평가원’ 제도다. 금융권의 상주 감독관처럼 외부 독립 전문가가 개발 현장에 머물며 완성된 모델뿐 아니라 훈련 데이터와 인프라 전반의 정렬을 실시간으로 감시하는 방식이다.

이후 민주주의 국가 연구소 간의 안전 기준 수립과 글로벌 협조로 이어지는 구상이다. 이번 제안에는 이례적으로 경쟁사들의 지지가 잇따랐다. 샘 올트먼 오픈AI CEO가 외부 평가원 도입에 뜻을 모았고 일론 머스크와 데미스 허사비스도 긍정적인 신호를 보냈다. 반면 데이비드 삭스는 대기업들의 ‘규제 포섭’이라며 날을 세웠고, 허깅페이스의 클레망 들랑그 CEO는 오픈소스 진영의 참여와 투명성이 배제되어서는 안 된다고 반발했다.

왜 중요한가

우리는 앤트로픽의 제안이 방향 면에서는 영리하지만, 현실적으로 속도 조절이 유지되기는 매우 어려울 것으로 본다.

일반 개발자와 사용자 입장에서는 모델의 성능 경쟁이 잠시 숨을 고르는 편이 유리할 수 있다. 벤치마크 점수 올리기에만 매달리던 자원이 모델 해석성과 운영 안정성으로 이동하면, 현업에서 에이전트가 엉뚱하게 튀거나 시스템을 망가뜨리는 오류를 크게 줄일 수 있기 때문이다.

하지만 가장 큰 장벽은 정치와 시장의 역학이다. 도널드 트럼프 전 대통령은 9월 13일 AI 경쟁의 승자가 모든 것을 차지한다며 국가적 우위를 지키는 것이 최우선이라고 강조했다. 국가 간 기술 패권 다툼이 치열한 상황에서, 기업 수장들이 말로는 동의할지언정 먼저 훈련 속도를 늦췄다가 경쟁에서 밀려나는 위험을 감수하기는 힘들다.

METR 같은 기관을 개발 파이프라인에 깊숙이 들이는 시도는 출시 직전 형식적으로 거치는 레드팀 테스트보다 훨씬 진일보한 안전장치다. 다만 폐쇄형 빅테크 몇 곳이 주도해 룰을 정한다면 진입 장벽이라는 비판을 피할 수 없다. 결국 상주 평가원들이 어디까지 독립적인 목소리를 낼 수 있는지, 그리고 감춰진 결함을 얼마나 투명하게 공개할 수 있는지에 이 계획의 성패가 달렸다.