엔비디아, 비디오 검색·요약 AI 블루프린트 공개: 자연어로 영상 분석 에이전트 구축

도시 곳곳의 교차로와 공장, 물류창고에는 수많은 카메라가 켜져 있지만, 대부분의 녹화 영상은 문제가 터지기 전까지 하드디스크 속에서 그대로 방치됩니다.

이러한 영상 데이터를 실시간으로 활용할 수 있도록, NVIDIA가 바르셀로나에서 열린 '스마트 시티 엑스포 월드 콩그레스'를 앞두고 영상 검색 및 요약을 위한 새로운 'NVIDIA Blueprint'를 공개했습니다.

복잡한 코딩 없이도 카메라와 IoT 센서 등에서 들어오는 대규모 시각 데이터를 분석하고 요약하는 비디오 분석 AI 에이전트를 손쉽게 구축할 수 있도록 돕는 참조 워크플로우입니다.

자연어로 묻고 답하는 영상 분석

기존의 컴퓨터 비전 시스템은 특정 객체나 행동을 인식하기 위해 맞춤형 코드를 짜고 규칙을 지정해야 했습니다.

반면 이번 블루프린트는 시각 언어 모델(VLM)을 기반으로 작동합니다. 사용자는 딱딱한 코드 대신 일상적인 자연어 프롬프트를 사용해 AI 에이전트에게 질문을 던질 수 있습니다.

예를 들어 교차로 영상을 향해 "오후 2시 이후 충돌 사고가 있었는지 확인해 줘"라고 묻거나, 물류창고에서 안전 수칙을 위반한 작업자가 발생했을 때 자동으로 경고를 띄우도록 설정하는 식입니다.

내부적으로는 NVIDIA NIM 마이크로서비스를 통해 VLM인 NVIDIA Cosmos Nemotron과 LLM인 NVIDIA Llama Nemotron, 그리고 GPU 가속 기반의 검색 증강 생성(RAG) 기술이 유기적으로 결합되어 있습니다. 개발자는 필요에 따라 모델을 다른 오픈소스로 교체하거나 NeMo 플랫폼을 통해 미세조정할 수 있습니다.

현재 델, 레노버, 액센츄어 등 글로벌 기업들이 자사 인프라에 이를 통합하고 있으며, 이탈리아 팔레르모시에서는 파트너사 K2K를 통해 실시간 교통 관제에 해당 기술을 시범 적용하고 있습니다.

왜 중요한가

영상 데이터는 엔터프라이즈 환경에서 가장 방대하게 생성되지만 역설적으로 가장 활용하기 어려운 데이터였습니다. 수천 시간 분량의 영상을 인간이 일일이 검토하거나 기존 알고리즘으로 분석하는 데는 한계가 명확했기 때문입니다.

우리는 NVIDIA의 이번 행보가 매우 영리하다고 평가합니다. 개발자가 멀티모달 모델, 벡터 파이프라인, 비디오 스트리밍을 직접 연결하려면 수개월의 최적화 작업이 필요한데, 블루프린트 형태로 사전 패키징해 시장 출시 시간을 극적으로 단축시켰습니다.

업계 관점에서는 NVIDIA가 단순 하드웨어 공급업체를 넘어 엔터프라이즈 AI 애플리케이션의 운영 체제 역할을 확고히 다지고 있음을 보여줍니다. 고객이 에지든 클라우드든 NVIDIA의 NIM과 소프트웨어 스택에 종속되도록 만드는 전략입니다.

다만 수십, 수백 개의 고화질 비디오 스트림을 실시간으로 추론할 때 발생하는 막대한 GPU 인프라 비용은 기업에게 여전히 부담스러운 장벽입니다. 아울러 공공장소 및 작업장 영상 분석 과정에서 발생할 수 있는 개인정보 보호 및 규제 이슈 역시 해결해야 할 현실적인 과제입니다.