일론 머스크, 앤트로픽 CEO에 동의…"AI 개발 속도 늦춰야"

평소 날 선 신경전을 벌이던 AI 업계 수장들이 일제히 한목소리를 내기 시작했습니다.

앤트로픽의 다리오 아모데이 최고경영자가 안전 연구가 기술 발전을 따라잡을 수 있도록 AI 연구소들이 개발 속도를 늦춰야 한다는 내용의 장문 에세이를 공개했습니다. 이에 일론 머스크는 X에 해당 글을 공유하며 '다리오가 맞다'라는 짤막한 지지 의사를 밝혔습니다.

머스크뿐만이 아닙니다. 가디언 보도에 따르면 오픈AI의 샘 알트만 CEO 역시 외부 평가자를 영입하겠다고 약속했으며, 악시오스는 구글 딥마인드의 데미스 허사비스 대표 또한 세부 내용에는 신중한 태도를 취하면서도 감속이라는 큰 방향성에는 뜻을 같이했다고 전했습니다. 경쟁이 가장 치열한 연구소 대표들이 동시에 같은 방향을 가리키는 장면은 매우 이례적입니다.

연구소들을 긴장하게 만든 내부 신호

아모데이가 지적한 핵심 위험은 AI가 스스로 더 뛰어난 AI를 개발하도록 돕는 가속 루프입니다. 그는 특정 조건이 갖춰질 경우 인간의 통제를 벗어난 고성능 에이전트 군집이 6개월에서 12개월 안에 인터넷을 장악할 수 있다는 시나리오를 경고했습니다.

이 같은 경고는 단순한 공상이 아닙니다. 오픈AI가 9월 8일 발표하고 9월 10일 업데이트한 내부 실험 내용에 따르면, 미공개 모델이 밀레니엄 수학 난제인 나비에-스토크스 방정식의 풀이안을 도출했습니다. 이 과정에서 약 1만 개의 에이전트가 동시에 협업했으며, 연구진은 중간 결과를 취합하고 자원을 지속적으로 재배치했습니다. 이 모델은 GPT-6 아스트라보다 실질적으로 훨씬 뛰어난 능력을 갖춘 것으로 알려졌습니다.

이 수학적 결과가 학계의 엄밀한 검증을 통과할지는 아직 지켜봐야 하지만, 미공개 모델의 발전 속도가 내부 연구자들에게조차 상당한 위기감을 안겨주고 있음을 보여줍니다. AP 통신에 따르면 연구원 제이콥 콕슨은 향후 10년 이내에 AI로 인해 인류가 멸종할 확률을 개인적으로 10%로 추정하기도 했습니다. 물론 업계 전반에 이러한 파멸적 확률에 대한 합의가 형성되어 있는 것은 아닙니다.

아모데이는 3단계 감속 계획을 제안하며 앤트로픽부터 첫 단계를 즉각 실행에 옮기겠다고 선언했습니다. 외부 독립 평가자들에게 직원 수준의 내부 시스템 상시 접근권을 부여해, 모델 훈련 과정 전반의 정렬 상태와 안전 조치를 직접 검증하고 보고서를 발행할 수 있도록 하겠다는 것입니다. 또한 민주주의 국가 연구소 간 공통 안전 기준을 마련하고 권위주의 정부와도 협력할 것을 제안했습니다.

자발적 감속을 가로막는 걸림돌

그러나 인위적으로 브레이크를 밟는 일은 생각보다 복잡한 반발을 부르고 있습니다.

오픈소스 진영에서는 규제가 진입 장벽으로 변질될 것을 우려합니다. 가디언에 따르면 허깅페이스의 클레망 들랑그 대표는 개발의 참여권과 투명성을 보장해야 한다고 목소리를 높였습니다. 소수의 거대 연구소가 안전 규격의 틀을 짤 경우, 첨단 시스템을 구축할 수 있는 권한이 빅테크에만 집중될 수 있다는 지적입니다.

투자자 데이비드 색스의 비판은 더 직설적입니다. 악시오스에 따르면 그는 연구소들이 자발적으로 속도를 늦추겠다고 나서는 이면에 '규제 포획' 의도가 깔려 있다고 꼬집었습니다. 규범을 직접 설계하는 거대 기업들에게 절대적으로 유리한 환경이 조성될 수 있다는 비판입니다.

지정학적 현실 또한 만만치 않습니다. AP 통신에 따르면 도널드 트럼프는 9월 13일 미국이 중국과의 AI 경쟁에서 반드시 앞서야 한다고 강조하며 'AI에서 이기는 자가 모든 것을 이긴다'고 언급했습니다. 그 역시 안전 가드레일의 필요성은 인정했지만, 국가 간 패권 경쟁 구도 속에서 개별 연구소의 자발적 절제가 얼마나 오래 지속될 수 있을지는 미지수입니다.

왜 중요한가

경쟁 관계인 거대 연구소 대표들이 감속 필요성에 공감대를 형성했다는 것은, 연구실 내부에서 테스트 중인 미공개 모델들이 이미 개발자들조차 당혹스러워할 수준의 성능에 도달했음을 암시합니다. 당장 일반 사용자의 서비스 화면이 바뀌지는 않겠지만, 수만 개 단위의 에이전트 협업 같은 파괴적 기술이 수면 아래에서 빠르게 완성되고 있다는 신호입니다.

앤트로픽이 외부 감사인에게 직원 수준의 훈련 시스템 접근권을 부여하기로 한 결정은 단순한 홍보용 선언을 넘어선 구체적인 조치로 평가할 만합니다. 하지만 법적 강제력이 없는 자발적 약속은 어느 한쪽이 경쟁에서 뒤처진다고 느끼거나 국가 안보 차원의 압박이 가해지는 순간 순식간에 무력화될 수 있습니다.

우리는 이 감속 논의가 오픈소스 생태계와 독립 개발자들을 위축시키는 도구로 쓰여서는 안 된다고 봅니다. 복잡한 감사 의무와 높은 안전 인증 비용이 의무화되면 막대한 자본력을 가진 기존 빅테크의 독점 구도만 더욱 공고해질 수 있습니다. 안전성을 확보하는 일만큼이나 그 안전망이 후발 주자들의 진입을 가로막는 해자로 변질되지 않도록 감시하는 일이 중요해졌습니다.