엔비디아, 세계 기초 모델 '코스모스' 공개: 자율주행 가상 주행 수십억 마일로 확장

엔비디아 코스모스(NVIDIA Cosmos)는 자율주행차와 로봇 등 피지컬 AI 개발을 위해 설계된 오픈형 세계 기초 모델(WFM) 플랫폼이다. 생성형 기초 모델, 토크나이저, 가속 비디오 파이프라인을 묶어, 수천 마일의 실제 인간 주행 데이터를 가상 환경에서 수십억 마일 규모의 합성 주행 시나리오로 확장해 준다.

엔비디아의 자율주행 3대 컴퓨팅 체계 안에서 코스모스는 데이터 플라이휠 역할을 맡는다. 옴니버스(Omniverse) 시뮬레이션 환경과 결합해 실제 도로에서 수집하기 어려운 극한의 코너 케이스 주행 환경을 생성하고 폐루프 평가를 진행할 수 있다. 현재 와비(Waabi)와 웨이브(Wayve)가 엣지 케이스 탐색에 도입했으며, 우버(Uber) 역시 주행 데이터를 결합해 협력 중이다.

아키텍처와 하드웨어 요구 사양

코스모스 3는 통합 Mixture-of-Transformers 구조를 기반으로 추론과 생성 두 개의 타워로 나뉜다. 리즈너(Reasoner)는 텍스트와 시각 정보를 받아 물리적 맥락을 이해하고 작업을 계획하며, 제너레이터(Generator)는 텍스트, 시각, 오디오, 행동 입력을 바탕으로 미래를 시뮬레이션하고 제어 정책을 출력한다.

하드웨어 환경에 맞춰 3가지 크기로 나뉘어 제공된다.

가장 큰 64B 규모의 Cosmos3-Super는 H200이나 B200 같은 데이터센터급 인프라가 필요하며, 최고 품질의 합성 데이터 생성과 증류 학습의 교사 모델 역할을 맡는다.

중간 크기인 16B 규모의 Cosmos3-Nano는 워크스테이션용 RTX Pro 6000이나 단일 H100에서 구동되며, 속도와 품질의 균형이 좋아 추가 파인튜닝의 기본 모델로 쓰인다.

가장 작은 4B 규모의 Cosmos3-Edge는 엣지 배포용으로, Jetson AGX Orin이나 Drive Thor 차량용 칩셋에서 실시간 로봇 제어 정책과 시각 추론을 수행할 수 있다.

실행 방법과 라이선스

코스모스 모델 가중치는 오픈 모델 라이선스로 허깅페이스(Hugging Face)와 엔비디아 NGC에 공개되었으며, 소스코드는 깃허브에서 확인할 수 있다. 추후 엔비디아 NIM 마이크로서비스로도 제공될 예정이다.

로컬 구동 시에는 권한 승인과 VRAM 확보가 필수적이다. diffusers 파이프라인을 호출하기 전 허깅페이스의 Cosmos-1.0-Guardrail 저장소 접근 권한을 신청하고 토큰으로 인증해야 모델을 내려받을 수 있다.

깃허브에는 데이터 큐레이션, 사후 학습, vLLM 배포 가이드가 담긴 Cosmos Cookbook이 제공된다. 기본 Nano 모델만 실행하더라도 16B 가중치를 다운로드하며 디퓨전 단계의 연산 부담이 크므로 충분한 그래픽 메모리와 대기 시간이 필요하다.

왜 중요한가

자율주행 및 로봇 제어 알고리즘을 개발하는 팀에게 코스모스는 막대한 비용이 들던 시뮬레이션 및 데이터 증강 파이프라인을 그대로 대체할 수 있는 강력한 오픈 플랫폼이다. 추론과 생성을 모두 아우르는 세계 모델을 자체 인프라에 직접 올려서 튜닝할 수 있다는 점에서 도입 가치가 매우 높다.

다만 일반 개발자가 가볍게 다루기에는 진입 장벽이 높다. 최소 사양인 Nano 모델조차 전문 워크스테이션급 GPU를 요구하며 안전 가드레일 승인 절차를 거쳐야 한다. 개인용 토이 프로젝트보다는 산업 현장의 피지컬 AI 파이프라인 구축을 목표로 하는 팀에 적합한 도구다.