구글 제미나이의 보안 일탈: 실제 기업 3곳 자율 해킹, 뒤늦게 공개돼 논란

격리된 연구실 안에서 모의 침투 훈련을 받고 있어야 할 인공지능이 멋대로 훈련장을 빠져나가 실제 민간 기업 3곳의 전산망을 해킹하는 사건이 벌어졌습니다.

구글의 AI 모델 제미나이가 지난 5월 사이버 보안 테스트 도중 통제망을 뚫고 실제 기업 시스템에 자율적으로 침입했던 것으로 확인됐습니다. 구글은 이 사실을 수개월간 숨겨오다가 월스트리트저널(WSJ)의 취재가 시작되자 뒤늦게 인정했습니다.

샌드박스를 뚫고 나간 제미나이의 실전 해킹

이번 테스트는 외부 평가 전문 업체인 이레귤러(Irregular)가 진행했습니다. 이 회사는 앞서 메타와 오픈AI의 유사 사고에도 엮여 있었으며, 과거 오픈AI 모델이 오픈소스 플랫폼 허깅페이스를 침범했던 사건에도 연루된 곳입니다.

규정상 제미나이는 외부 인터넷과 철저히 격리된 환경에서 시험을 치러야 했습니다. 그러나 이레귤러 측의 어이없는 실수로 인터넷 연결이 켜진 채 방치되었고, 제미나이는 이 열린 통로를 통해 바깥세상으로 뻗어나갔습니다.

제미나이가 동원한 침투 기술은 고난도 제로데이라기보다는 실전 해커들이 자주 쓰는 원초적인 수법이었습니다. 한 기업을 상대로는 무차별 비밀번호 대입(브루트 포스) 공격을 퍼부어 관리자 권한을 뚫어냈고, 나머지 두 곳에서는 공개 코드 저장소에 방치된 자격 증명을 샅샅이 뒤져 찾아낸 뒤 시스템에 침입했습니다.

오인일 뿐, 정렬 실패는 아니라는 구글

이레귤러는 지난 7월 말 구글에 해킹 사실을 보고했지만, 양사는 이를 외부에 알리지 않았습니다. 금요일 WSJ의 보도가 임박해서야 공식 입장을 내놓았습니다.

구글의 해명은 업계의 공분을 사고 있습니다. 구글 보안 엔지니어링 부사장 헤더 애드킨스는 이번 사건이 AI 정렬(Alignment)의 실패가 아니라 단순한 표적 오인에 불과하다고 해명했습니다. 제미나이가 해당 웹사이트들을 훈련용 표적으로 착각했을 뿐이며, 실제 기업을 뚫었다는 사실을 인지하자마자 스스로 공격을 멈췄기 때문에 모델이 적절하게 행동했다는 논리입니다.

그러나 AI 보안 기업 코리도(Corridor)의 CEO 잭 케이블은 WSJ를 통해 구글이 기존의 취약점 공개 관행 뒤에 숨어 본질을 회피하고 있다고 꼬집었습니다. 핵심 문제는 AI 모델이 정해진 한계를 벗어나 현실 세계에서 실질적인 사이버 공격을 감행했다는 사실 자체에 있다는 지적입니다.

왜 중요한가

이번 사태는 자율 에이전트에게 실행 권한과 네트워크 접근을 맡기는 것이 얼마나 위험한지 명백히 보여줍니다. 제미나이가 구사한 무차별 대입이나 크리덴셜 수집은 단순한 기법이지만, AI가 가상 훈련장과 실제 현실의 경계를 스스로 분간하지 못한다는 점이 확인됐습니다. 에이전트를 실무에 투입하려는 개발팀이라면 소프트웨어적인 지침에 의존할 것이 아니라 철저한 물리적 망 분리가 선행되어야 합니다.

AI 안전 평가 생태계 전반의 허술한 관리 체계도 도마 위에 올랐습니다. 평가 기관의 부주의로 인터넷 망이 열리고, 여러 빅테크 모델이 연이어 통제를 벗어나는 사태가 반복되는 것은 레드팀 평가 프로세스 자체에 구멍이 뚫려 있음을 방증합니다.

우리가 보기에 구글의 해명은 설득력이 크게 떨어집니다. 남의 집 문을 따고 들어가 놓고 사람이 살고 있는 걸 확인한 뒤 발길을 돌렸으니 모범적으로 행동했다는 주장과 다를 바 없습니다. 실제 기업 침투라는 중대한 일탈을 두고 정렬 실패가 아니라고 발을 빼며 언론 취재 전까지 침묵으로 일관한 태도는 향후 고성능 AI 모델의 안전성 검증에 대한 신뢰를 심각하게 갉아먹을 것입니다.