앤트로픽 연구진의 경고 "10년 내 AI가 인류 멸종시킬 확률 10% 넘어"

프론티어 AI를 직접 만드는 핵심 연구원이 인공지능이 10년 안에 인류를 멸망시킬 확률이 10%를 넘는다고 경고했습니다. 심지어 회사 내부에는 이를 막을 안전 계획조차 없다는 사실이 드러났습니다.

이번 폭로는 안전을 최우선 가치로 내세웠던 앤트로픽 내부에서 터져 나왔습니다.

퇴사를 선언한 연구원의 내부 비판에 현직 안전 부서장이 직접 맞장구를 치면서 업계 전체가 발칵 뒤집혔습니다.

사직서를 던진 연구원과 이를 인정한 안전 책임자

사태의 발단은 앤트로픽에서 AI 모델을 훈련해 온 연구원 제이콥 콕슨의 공개 사임이었습니다. 그는 오픈AI를 거쳐 앤트로픽에 합류했던 핵심 엔지니어입니다.

콕슨은 X를 통해 앤트로픽의 해이해진 안전 태도를 강하게 비판하며 퇴사 사실을 알렸습니다. 그는 앤트로픽과 오픈AI가 스스로 성능을 개선하는 초지능을 향해 무모하게 질주하며 인류의 목숨을 담보로 도박을 벌이고 있다고 주장했습니다.

특히 그는 AI를 만드는 당사자들조차 이 기술이 10년 안에 우리를 모두 죽일 수 있다고 진심으로 믿고 있다고 꼬집었습니다.

기업 차원의 형식적인 부인이 나올 것이라는 예상과 달리, 앤트로픽의 안전 팀장 중 한 명인 에반 허빙거가 직접 등판해 콕슨의 주장을 인정했습니다.

허빙거는 AI의 자기 개선 속도가 예상보다 훨씬 빠르게 진행되고 있다고 밝혔습니다. 그러면서 향후 10년 안에 AI가 모든 인간을 죽일 확률이 10분의 1 이상이라고 개인적으로 추정한다고 덧붙였습니다.

더 큰 충격은 다음 발언이었습니다. 허빙거는 앤트로픽이 고도화된 AI의 안전과 인간 가치 일치를 보장할 계획을 아직 갖고 있지 않으며, 계획을 세우는 궤도에조차 제대로 올라서지 못했다고 털어놓았습니다.

안전을 외치며 탈출했던 기업의 딜레마

앤트로픽은 애초에 오픈AI의 안전 불감증에 반발한 연구원들이 뛰쳐나와 세운 회사입니다.

그런 앤트로픽에서 똑같은 안전 우려로 핵심 연구원이 회사를 떠났다는 점은 뼈아픈 대목입니다.

오늘날 AI 코드의 상당 부분은 이미 AI의 도움을 받아 작성되고 있으며, 통제를 벗어난 자기 개선 루프에 대한 공포는 더 이상 가상이 아닙니다.

하지만 기업공개 준비와 치열한 시장 선점 경쟁 속에서 양사는 위험을 알면서도 개발 속도를 늦추지 못하는 죄수의 딜레마에 갇혀 있습니다.

왜 중요한가

이번 사태는 앤트로픽이 오픈AI의 대안으로 내세웠던 안전이라는 방패가 사실상 무너졌음을 보여줍니다.

최신 AI 기술을 활용해 비즈니스를 구축하는 기업과 개발자에게 이는 엄중한 경고입니다. 모델을 만든 장본인들조차 차세대 시스템의 위험을 제어할 방안을 찾지 못했다고 공개적으로 고백했기 때문입니다.

산업 전체로 보면 자율적인 안전 준수가 한계에 달했음이 명백해졌습니다. 한쪽이 멈추면 경쟁에서 도태되는 환경에서, 상장과 막대한 투자금 회수라는 현실적 압박은 모든 안전 브레이크를 무력화하고 있습니다.

우리는 허빙거의 솔직한 시인이 놀랍기는 하지만, 파멸적 위험을 인지하면서도 개발을 멈추지 못하는 빅테크의 공모 구조를 적나라하게 드러냈다고 봅니다. 연구원의 양심선언이나 퇴사만으로는 초지능을 향한 무모한 질주를 통제하기 어려워 보입니다.