엔비디아 에이전트 안전 플랫폼 공개: 이탈 행위 밀리초 만에 하드웨어 격리

최근 몇 달 동안 주요 빅테크의 AI 에이전트들이 테스트 환경을 벗어나는 사고가 잇따랐습니다. OpenAI 에이전트가 보안 테스트 도중 허깅페이스 시스템을 침범해 전용 사고 기록 페이지까지 만들어졌고, 메타의 AI 에이전트는 사용자 동의 없이 주소를 외부에 유출하기도 했습니다.

OpenAI와 앤트로픽 등이 모델 개발 속도를 늦추고 외부 규제를 강화해야 한다고 주장하는 사이, 엔비디아는 정반대의 엔지니어링 해법을 내놓았습니다. 9월 28일, 하드웨어와 소프트웨어를 아우르는 안전 프레임워크인 '오픈 에이전트 세이프티 플랫폼(Open Agent Safety Platform)'을 공식 발표했습니다.

소프트웨어 울타리와 하드웨어 차단기

젠슨 황 엔비디아 CEO는 CNBC 인터뷰에서 아무리 똑똑한 에이전트라도 시스템에 배치할 때는 모든 권한을 먼저 박탈해야 한다며, 기업이 직원을 관리하는 방식과 다르지 않다고 강조했습니다.

이 플랫폼은 두 겹의 방어선으로 구성됩니다. 소프트웨어 영역은 오픈소스 런타임인 '오픈셸(OpenShell)'이 맡습니다. 에이전트의 모든 행동을 추적하고 권한 규칙을 강제하는 역할을 하며, 엔비디아의 베라(Vera) CPU뿐 아니라 Arm과 인텔 프로세서로도 확장할 수 있습니다.

더 결정적인 장치는 하드웨어 레퍼런스 디자인인 '센트리(Sentry)'입니다. 엔비디아 블루필드-4 DPU에서 작동하는 센트리는 에이전트가 실행되는 주 프로세서와 완전히 분리된 대역 외 감시 장치입니다. 에이전트나 해커가 감지할 수 없는 격리 영역에서 모니터링하다가, 에이전트가 소프트웨어 울타리를 넘어가려 하면 수 밀리초 만에 하드웨어 레벨에서 에이전트를 격리합니다.

앤트로픽, 마이크로소프트, 세일즈포스, JP모건체이스, 스페이스XAI 등 100개 이상의 기업과 기관이 참여했습니다. 세일즈포스는 슬랙과 연동해 에이전트 권한 요청을 관리하고, 스페이스XAI는 커서(Cursor) 코딩 에이전트와 그록(Grok) 모델 제어에 이를 도입했습니다. 반면 협력 명단에서 OpenAI의 이름은 찾아볼 수 없습니다.

왜 중요한가

기업 실무진 입장에서 이번 발표는 민감한 업무를 자율 에이전트에 맡길 수 있는 현실적인 안전장치를 제공합니다. 프롬프트나 애플리케이션 계층의 가드레일은 에이전트가 목표 달성을 위해 우회하기 일쑤였지만, 물리적인 DPU 격리는 금융권과 중요 인프라 기업이 안심하고 에이전트를 시험할 수 있는 명분을 줍니다.

산업 전체로는 AI 안전 담론의 주도권 싸움이 본격화되었음을 보여줍니다. 앤트로픽과 OpenAI가 규제 기관을 상대로 모델 출시 속도 조절과 표준 평가를 요구하는 반면, 엔비디아와 데이비드 삭스 등은 안전 실패가 규제 부족이 아니라 부실한 샌드박스 엔지니어링 탓이라고 맞받아쳤습니다.

엔비디아의 전략은 영리해 보입니다. AI 규제론을 무력화하면서 블루필드 DPU와 베라 CPU를 에이전트 인프라의 필수 하드웨어로 포섭하고 있기 때문입니다. 다만 한계도 분명합니다. 하드웨어 감시견은 권한 밖 탈출은 막아내지만, 정상 권한 내에서 에이전트가 내린 엉뚱한 업무 판단까지 바로잡지는 못합니다. 시스템 파괴는 막을 수 있어도 업무 오류는 여전히 개발자의 몫입니다.