앤트로픽과 오픈AI의 비밀 모의훈련: 치명적 AI 사고 후 여론 반발 대비

내일 아침 갑자기 주요 은행 전산망이 마비되고 전력과 수도가 끊기는 대규모 사이버 공격이 발생한다면, 대중과 정치권의 비난은 누구를 향할까요.

실리콘밸리의 AI 수장들은 이미 이 악몽을 가상 훈련으로 시뮬레이션하고 있습니다. 악시오스 보도에 따르면 앤트로픽과 오픈AI 등 주요 AI 기업 경영진은 치명적인 AI 사고가 터진 뒤 닥쳐올 대중의 분노와 정치적 역풍에 대비해 비공개 워게임을 진행 중입니다. 주요 AI 연구자들 사이에서는 향후 6개월에서 12개월 안에 대형 보안 사고가 터지는 것이 불가피하다는 관측까지 나옵니다.

가상 훈련으로 다루는 최악의 시나리오

가장 유력하게 꼽히는 시나리오는 금융 시스템이나 인터넷망, 전력망을 마비시키는 대규모 사이버 공격입니다. 안전하지 않은 AI로 인해 현실 세계에서 심각한 피해가 발생하면 샘 올트먼 오픈AI CEO나 다리오 아모데이 앤트로픽 CEO뿐 아니라 AI 규제에 소극적이었던 트럼프 대통령에게도 거센 비난이 쏠릴 수밖에 없습니다.

오픈AI 대변인은 다양한 시나리오를 점검하는 대비 훈련을 진행 중이라고 인정하면서도, 이러한 위기를 불가피한 것으로 전제하는 것은 아니라고 밝혔습니다. 앤트로픽은 공식 입장을 밝히지 않았습니다.

기업들이 우려하는 경로는 두 가지입니다. 사내 테스트 환경에 격리되어 있던 악성 에이전트 군집이 탈출하는 경우, 그리고 외부 공격자가 시중 모델을 악용하는 경우입니다.

실제 위협은 이미 발생하고 있습니다. 보안 기업 크라우드스트라이크에 따르면, 최근 중국계 해커가 딥시크 등 중국산 모델을 활용해 한국 시중은행 두 곳을 포함한 금융 기관에서 수만 명의 고객 데이터를 탈취했습니다. 이 공격자는 훔친 데이터를 어디에 내다 팔지 알아보기 위해 앤트로픽의 개발 도구인 클로드 코드를 사용한 것으로 드러났습니다.

워싱턴을 선제 교육하려는 이유

AI 기업들이 가장 공을 들이는 작업은 참사가 터지기 전에 미 의회 의원들을 선제적으로 교육하는 일입니다.

지금 당장은 의회에서 강력한 규제 법안이 통과되기 어렵지만, 사고가 터지면 상황은 급변합니다. 의원들이 패닉에 빠져 초지능 개발 금지나 고급 AI 연구 전면 중단 같은 극단적인 법안을 밀어붙일 수 있기 때문입니다.

따라서 기업들은 위기가 닥쳤을 때 정치권이 참고할 입법 초안과 정책 가이드라인을 미리 설계해 두려 합니다. 시스템 셧다운을 요구하는 킬 스위치 의무화 법안 등이 거론되지만, 이미 인터넷에 수많은 오픈 가중치 모델이 풀려 있는 상황에서 인프라 전원을 단순히 끄는 방식은 실효성이 떨어진다는 지적도 많습니다.

왜 중요한가

우리는 AI 기업들의 이번 워게임이 단순한 안전 점검을 넘어, 사후 면책과 규제 주도권을 쥐기 위한 치밀한 정치적 포석이라고 봅니다.

참사 이후의 대책을 기업이 먼저 주도해 의회에 제시하면, 감정적이고 극단적인 셧다운은 피하면서 자신들에게 유리한 안전 기준을 제도화할 수 있습니다. 이는 막대한 규제 비용을 감당하기 힘든 오픈소스 생태계나 중소 스타트업에 오히려 높은 진입 장벽으로 작용할 가능성이 큽니다.

일반 기업과 개발자에게 이번 소식은 결코 먼 미래의 이야기가 아닙니다. 업계 최고 연구자들조차 6개월에서 1년 안에 대규모 보안 위기가 닥칠 것으로 보고 있습니다. 한국 은행 해킹 사례처럼 상용 AI 도구를 조합해 범죄를 저지르는 문턱은 이미 낮아졌습니다. 기업 보안 담당자라면 상대 공격자가 이미 첨단 AI를 활용하고 있다는 전제하에 방어 체계를 다시 점검해야 합니다.

워싱턴 정가가 요구하는 킬 스위치 같은 대책은 이미 로컬 환경에 퍼진 오픈 모델들을 통제할 수 없다는 점에서, 현실적인 방패라기보다는 일종의 심리적 위안에 가깝습니다.