엔비디아, 40억 파라미터 온디바이스 세계 모델과 AI 영상 탐지 도구 공개

엔비디아가 SIGGRAPH 현장에서 기기 내에서 실시간으로 구동되는 40억 파라미터 오픈 피지컬 세계 모델 'Cosmos 3 Edge'를 공개했습니다. 이와 함께 AI 생성 영상을 프레임 단위로 판별하는 Synthetic Video Detector NIM 마이크로서비스와 어도비, 블렌더 등 주요 소프트웨어에 AI 에이전트를 연결하는 MCP 통합 환경도 선보였습니다.

무엇을 할 수 있나

Cosmos 3 Edge는 세계 파운데이션 모델을 40억 파라미터 크기로 경량화하여, 휴머노이드 로봇이나 로봇 그리퍼, 자율주행 차량 같은 온디바이스 하드웨어에서 실시간으로 물리 법칙을 이해하고 동작을 제어하도록 돕습니다.

함께 시연된 폐쇄 루프 시뮬레이터 Cosmos-Dreams는 단 한 장의 사진만으로 완전한 인터랙티브 주행 환경을 생성합니다. 엔비디아 RTX PRO 6000 GPU 한 장에서 실시간으로 돌아가 실차 투입 전 자율주행 모델을 안전하게 검증할 수 있습니다.

미디어 검증용으로 나온 Synthetic Video Detector NIM 마이크로서비스는 영상의 각 프레임을 분석해 합성 여부를 판별합니다. 1080p 비디오 기준으로 RTX 시스템에서는 22밀리초, L40 GPU에서는 약 30밀리초 만에 처리합니다.

압축에 대한 내성도 뛰어납니다. 무압축 영상에서 92%의 탐지 정확도를 기록했으며, 소셜 미디어 유통 과정에서 15% 압축 시 87%, 50% 수준으로 크게 압축되어도 82%의 정확도를 유지합니다.

구동 방식과 워크플로

Cosmos 3는 트랜스포머 혼합(mixture-of-transformers) 아키텍처를 도입해 다양한 형태의 로봇 하드웨어가 하나의 공통된 물리 어휘를 공유하도록 설계되었습니다.

창작자와 파이프라인 엔지니어를 위해 엔비디아 Agent Toolkit은 모델 컨텍스트 프로토콜(MCP) 클라이언트 및 서버를 정식 지원합니다. 외부 클라우드 서비스에 데이터를 올리지 않고도 로컬 RTX PRO 워크스테이션이나 DGX 장비에서 에이전트를 안전하게 구동할 수 있습니다.

어도비는 Express용 개발자 MCP 서버를 선보였고, 블렌더는 파이썬 API와 연동되는 가벼운 MCP 서버를 공개했습니다. 언리얼 엔진과 후디니 역시 MCP 지원을 추가해 AI 에이전트가 씬을 검사하거나 셰이더 누락을 잡고 APEX 스크립트를 작성할 수 있도록 열어두었습니다.

왜 중요한가

로봇 공학이나 자율주행을 연구하는 엔지니어에게 Cosmos 3 Edge는 통신 지연 없이 로컬 하드웨어에서 바로 돌려볼 수 있는 희소한 오픈 가중치 세계 모델입니다. 네트워크 연결이 제한된 환경에서 실시간 물리 추론이 필요하다면 내려받아 검증해 볼 가치가 충분합니다.

엔비디아의 이번 행보는 피지컬 AI와 작업 파이프라인 자동화를 로컬 그래픽 하드웨어에 단단히 묶어두었다는 점에서 영리합니다. 클라우드 API에 의존하는 대신 로컬 장비의 보안과 저지연성을 살려 크리에이티브 스튜디오와 제조 연구실이 안심하고 에이전트를 도입할 수 있는 길을 텄습니다.