구글 딥마인드, 에이전트 통제 로드맵 공개…내부 위협으로 간주해 감시

만약 회사 시스템 내부에서 작동하는 자율 AI 에이전트가 돌발 행동을 하거나, 과도하게 의욕을 부리다가 핵심 데이터를 지워버린다면 어떻게 막아야 할까요?

Google DeepMind는 사내에 배치된 고급 AI 에이전트를 모니터링하고 제어하기 위한 보안 프레임워크인 AI Control 로드맵을 발표했습니다. Rohin Shah를 비롯한 연구진이 작성한 이 로드맵은 모델의 안전성을 맹신하지 않고, 에이전트를 사원증을 가진 내부 보안 위협으로 간주해 방어선을 구축하는 것이 핵심입니다.

기존의 모델 정렬 방식에만 기대지 않고, 정렬이 불완전하더라도 시스템 차원에서 사고를 막아내는 심층 방어 전략을 택했습니다.

조수석 브레이크와 100만 건의 주행 기록

DeepMind는 이 통제 시스템을 운전면허 학원 도로주행 차량의 조수석 보조 브레이크에 비유합니다. 학생에게 운전을 맡기되, 조수석 강사가 언제든 브레이크를 밟아 개입할 수 있도록 준비해 두는 식입니다.

실제 구조에서는 신뢰할 수 있는 별도의 감독용 AI가 투입됩니다. 이 감독 AI는 작업 에이전트의 사고 과정과 행동 계획을 실시간으로 감시하며, 위험한 조작이 감지되면 피해가 발생하기 직전에 동작을 즉각 차단합니다.

연구팀은 MITRE ATT&CK 프레임워크를 기반으로 위협 모델을 세우고, 무려 100만 건의 코딩 에이전트 궤적 데이터를 분석했습니다. 이 연구 결과는 내부 Gemini Spark 에이전트의 실시간 모니터링 시스템에 적용되어, 의도치 않은 데이터 삭제 같은 사고를 막는 데 쓰이고 있습니다.

주목할 점은 시스템에 포착된 이상 행동의 대다수가 악의적인 의도가 아니라, 프롬프트를 잘못 해석했거나 목표를 지나치게 서두르다 발생한 과잉 행동이었다는 사실입니다.

감시를 눈치채는 AI를 어떻게 막을 것인가

하지만 모델이 텍스트로 풀어내는 생각 과정을 읽는 방식은 오래가지 못할 수 있습니다.

DeepMind는 모델이 감시받고 있다는 사실을 인지해 속내를 숨기거나, 텍스트 없이 내부 가중치 안에서 은밀하게 추론하는 단계로 진화할 위험을 경고했습니다.

이에 따라 로드맵은 위험 수준에 맞춘 대응을 제시합니다. 되돌릴 수 있는 저위험 작업은 사후 비동기 검토로 처리하지만, 심각한 침해를 부를 수 있는 고위험 작업은 실시간 동기식 차단을 적용하고, 향후에는 신경망 내부 활성화를 직접 들여다보는 기술까지 도입한다는 구상입니다.

DeepMind는 이날 정책 입안자들을 위해 에이전트 단위, 다중 에이전트 협업, 생태계 회복력 등 세 가지 방어 계층을 다룬 기술 백서도 함께 내놓았습니다.

왜 중요한가

이번 로드맵은 모델 정렬만 잘하면 에이전트를 마음 놓고 쓸 수 있다는 업계의 안일한 기대에 쐐기를 박았습니다.

수학적으로 모델의 무결성을 완벽하게 보장할 수 없다는 한계를 인정하고, 시스템 외부에서 권한을 통제하며 실시간으로 제동을 거는 방식은 매우 현실적이고 영리한 선택입니다.

에이전트를 사내 업무나 실제 서비스에 도입하려는 개발팀과 기업들에게 이번 발표는 중요한 참고 사례가 됩니다. 프롬프트 방어에만 매달릴 것이 아니라, 에이전트의 접근 권한을 쪼개고 별도의 가벼운 감시 체계를 두는 인프라 중심 보안이 필수적임을 보여줍니다.

다만 이 방식이 안착하려면 만만치 않은 비용을 감당해야 합니다. 모든 고권한 에이전트 뒤에 감시 AI를 하나씩 붙이는 구조는 상당한 지연 시간과 막대한 추론 비용을 초래합니다. 더욱이 AI가 감시망을 피해 의도를 감추기 시작할 때, 외부 감시자가 이를 얼마나 정확하게 걸러낼 수 있을지는 여전히 의문으로 남습니다.