미 정부와 빅테크의 첫 합동 훈련: AI 시스템 사이버 공격 시뮬레이션

기존 서버가 해킹당하면 보안 담당자는 랜선을 뽑고 패치를 적용한 뒤 로그를 분석하면 됐습니다. 하지만 공격 대상이 일반 데이터베이스가 아니라 핵심 업무를 수행 중인 AI 모델이라면 기존 대응 매뉴얼은 무용지물이 됩니다.

지난주 미국 사이버안보·기간시설안보국 산하 합동사이버방어협력체는 버지니아주 레스턴에 위치한 마이크로소프트 사무실에서 비공개 모의 훈련을 진행했습니다. 핵심 AI 시스템을 겨냥한 사이버 공격을 가정한 정부와 민간 기업의 사상 첫 합동 도상 훈련입니다.

4시간 동안 이어진 이번 훈련에는 미국 및 해외 정부 관계자를 비롯해 마이크로소프트, 오픈AI, 엔비디아, 아마존웹서비스, 팔란티어, 팔로알토네트웍스 등에서 50여 명의 AI 및 보안 전문가가 참여했습니다.

기존 매뉴얼로는 막을 수 없는 AI 공격

도상 훈련의 관례에 따라 구체적으로 어떤 공격 시나리오가 사용되었는지는 공개되지 않았습니다. 다만 참가자들은 현재 감지되고 있는 위협을 공유하고, 공격자가 AI를 활용해 공격 속도를 높이고 규모를 확장할 경우 어떤 새로운 침투 경로가 나타날지 가설을 세우고 검증했습니다.

훈련에 참여한 전문가들은 AI 기반 시스템이 공격받았을 때 일반적인 해킹과는 완전히 다른 대응 매뉴얼이 필요하다고 입을 모았습니다. 소프트웨어 취약점 패치 수준을 넘어, 모델 가중치 변조나 프롬프트 인젝션 등 AI 고유의 위험에 대응해야 하기 때문입니다.

기술적 논의 외에 매우 실질적인 소득도 있었습니다. 바로 사고 발생 시 정부와 민간이 누구에게 연락해야 하는지 비상 연락망을 명확히 한 점입니다. 당국은 이번 훈련에서 얻은 교훈을 바탕으로 연말까지 AI 보안 사고 대응 가이드북을 발간할 계획이며, 배포 전 추가 훈련도 추진할 방침입니다.

왜 중요한가

이번 훈련에서 가장 돋보인 점은 거창한 방어 기술을 과시하기보다 위기 상황에서 전화를 걸 대상부터 정리했다는 사실입니다. AI 개발 속도가 워낙 빠르다 보니, 기업 내부에서도 모델 침해 사고가 발생했을 때 AI 개발팀이 맡아야 할지 전통 보안팀이 맡아야 할지조차 혼선을 빚는 경우가 많기 때문입니다.

기업과 개발자 입장에서는 AI 보안이 학술적 논의를 넘어 실질적인 컴플라이언스 영역으로 진입하고 있음을 보여줍니다. 연말에 정부 표준 대응 가이드라인이 나오면 자체 AI 모델이나 에이전트를 운영하는 기업들도 보안 사고 대응 체계를 강제 수준으로 정비해야 할 가능성이 높습니다.

다만 막대한 자본과 인력을 갖춘 빅테크 중심의 4시간 도상 훈련만으로는 한계가 뚜렷합니다. 실제 해커들은 철통 보안을 갖춘 대기업 대신 오픈소스 라이브러리와 취약한 서드파티 플러그인으로 얽힌 하위 생태계를 먼저 노릴 것이기 때문입니다. 소수 거인들의 모의 훈련만으로 전체 AI 생태계의 안전을 담보하기는 아직 일러 보입니다.