엔비디아, 물리 AI 기초 모델 '코스모스 3' 공개…로봇 관절 궤적 직접 예측

코스모스 3(Cosmos 3)은 로봇, 자율주행, 스마트 공간 등 물리 AI가 상황을 먼저 분석하고 행동하도록 돕는 엔비디아의 오픈 세계 기초 모델입니다.

기존에는 물리적 이해, 시뮬레이션 영상 생성, 로봇 제어 모델이 서로 분리되어 개발 파이프라인이 복잡했습니다. 코스모스 3은 시각적 추론과 다중 모달 생성, 네이티브 동작 예측을 하나의 모델로 통합하여 장면 예측은 물론 관절 각도, 그리퍼 위치, 이동 궤적과 같은 제어 신호를 직접 생성합니다.

작동 방식과 핵심 구조

코스모스 3은 두 개의 타워로 구성된 MoT(Mixture-of-Transformers) 아키텍처를 기반으로 설계되었습니다.

첫 번째는 두뇌 역할을 하는 추론(Reasoner) 타워입니다. 자기회귀 비전 언어 모델(VLM)을 통해 입력된 영상과 텍스트를 분석하고, 물체의 이동 경로 충돌이나 물리적 인과관계를 사전에 파악합니다. 이 추론 타워는 모니터링이나 원인 분석을 위해 단독으로도 실행할 수 있습니다.

두 번째는 생성(Generator) 타워입니다. 확산(Diffusion) 방식을 사용하며, 추론 타워가 파악한 물리적 맥락을 바탕으로 물리 법칙에 부합하는 합성 비디오나 실제 로봇 동작 데이터를 생성합니다.

이러한 구조 덕분에 텍스트와 비디오를 입력받아 희귀 주행 엣지 케이스 영상을 합성하거나, 양팔 작업 명령에 맞춰 정밀한 로봇 구동 궤적을 바로 뽑아낼 수 있습니다.

모델 사양과 공개 범위

제공되는 모델은 두 가지 크기입니다.

코스모스 3 나노(Nano)는 16B 파라미터 크기로 실시간 추론에 최적화되었습니다. 엔비디아 RTX PRO 6000과 같은 워크스테이션 환경에서 구동 가능하여 로봇 현장 적용에 적합합니다.

코스모스 3 슈퍼(Super)는 64B 파라미터 모델로 대규모 데이터센터의 호퍼(Hopper) 및 블랙웰(Blackwell) GPU에 맞춰 설계되었으며, 고품질 합성 데이터 생성과 심층 물리 추론을 담당합니다.

벤치마크 평가에서도 Physics-IQ, R-Bench, VANTAGE-Bench 등에서 오픈 모델 기준 최상위권을 기록했습니다. DROID 로봇 실환경 기반 RoboArena 및 RoboLab 테스트에서도 나노 모델 기반 정책이 선두를 차지했습니다.

현재 애자일 로봇(Agile Robots)이 토르 3(Thor 3) 휴머노이드와 FR3 로봇 암의 작업 궤적 생성에 도입했으며, 링커 비전(Linker Vision)은 스마트 시티 CCTV 영상 분석에 활용 중입니다.

리눅스 재단의 OpenMDW 1.1 라이선스로 공개되어 가중치는 허깅페이스에서, 코드와 사후 학습 스크립트는 깃허브에서 내려받을 수 있으며, build.nvidia.com에서 테스트할 수 있습니다.

왜 중요한가

로봇과 자율주행 분야에서는 충돌 상황 같은 위험 엣지 케이스 데이터를 실제 환경에서 안전하고 반복적으로 수집하는 것이 가장 큰 병목이었습니다. 코스모스 3은 장면 추론과 로봇 제어 신호 생성을 단일 파이프라인으로 묶어, 현실적인 물리 데이터를 대규모로 자체 생산할 수 있는 길을 열었습니다.

로보틱스와 임베디드 AI를 연구하는 개발자라면 16B 나노 모델을 워크스테이션에 올려 즉시 테스트해 볼 가치가 충분합니다. 다만 고품질 세계 모델을 자체 도메인에 맞춰 본격적으로 미세조정하려면 여전히 대규모 GPU 자원이 필요하다는 점은 고려해야 합니다.