엔비디아, 세계 모델로 로봇 직접 제어하는 '코스모스 폴리시' 공개

코스모스 폴리시(Cosmos Policy)는 엔비디아가 오픈소스로 공개한 로봇 제어 및 계획 모델입니다. 자사의 비디오 생성 세계 기저 모델인 '코스모스 프리딕트-2(Cosmos Predict-2)'를 사후 학습시켜, 별도의 동작 제어망 없이도 로봇 팔 조작을 직접 수행할 수 있도록 만들었습니다.

기존 비전-언어 모델(VLM)은 주변을 시각적으로 설명할 수는 있어도 중력과 물리적 한계 안에서 팔을 정밀하게 움직이는 능력은 떨어졌습니다. 코스모스 폴리시는 로봇의 동작, 물리적 상태, 보상 점수를 영상의 잠재 프레임처럼 취급해 확산(Diffusion) 과정 안에서 한꺼번에 학습합니다. 비디오 생성 모델이 미리 체득한 물리 법칙, 중력, 공간 변화에 대한 이해를 제어 단계로 곧바로 가져온 셈입니다.

덕분에 단일 모델 안에서 시각 운동 제어, 미래 관측 예측, 행동 가치 평가를 모두 처리합니다. 추론 환경에 따라 즉각적인 동작만 빠르게 출력하는 직접 정책 모드로 쓰거나, 여러 행동 후보의 미래 결과를 머릿속으로 시뮬레이션해 최적 경로를 고르는 계획 정책 모드로 전환할 수 있습니다.

성능은 어느 정도인가

벤치마크 결과는 세계 모델 기반 사전 학습의 위력을 분명하게 보여줍니다.

로봇 조작 벤치마크인 LIBERO에서 코스모스 폴리시는 평균 98.5%의 성공률을 기록하며, 기존 π0.5, OpenVLA-OFT, CogVLA 등을 제치고 최고 수준의 성능을 달성했습니다.

가정 환경 조작을 다루는 RoboCasa 테스트에서는 일반 모델들이 과제당 300개의 시연 데이터를 필요로 했던 반면, 코스모스 폴리시는 과제당 50개의 시연만으로 평균 67.1%의 성공률을 냈습니다.

실제 ALOHA 양팔 로봇 플랫폼을 이용한 하드웨어 테스트에서도 시각 정보만으로 장기 조작 작업을 완수했으며, 모델 기반 계획 기능을 켰을 때 실제 작업 완료율이 평균 12.5% 상승했습니다.

어떻게 써볼 수 있나

코스모스 폴리시의 가중치는 허깅페이스에, 전체 소스코드는 깃허브에 공개되어 있습니다. 개발자는 코스모스 쿡북(Cosmos Cookbook)의 튜토리얼을 따라 직접 빌드해 볼 수 있으며, 최신 코스모스 프리딕트 2.5 기반 모델 카드도 함께 열렸습니다.

엔비디아는 1월 29일부터 2월 26일까지 코스모스 쿡오프(Cosmos Cookoff) 해커톤을 열고, 우승 팀에게 5,000달러 상금과 RTX 5090 GPU, DGX Spark 장비 등을 제공합니다.

왜 중요한가

로보틱스와 피지컬 AI를 연구하는 개발자라면 지금 당장 클론해 테스트해 볼 가치가 충분합니다. 텍스트 중심의 VLM에 동작 모듈을 억지로 붙이는 것보다, 물리 세계의 시간적 변화를 이해하는 비디오 세계 모델이 로봇 제어에 훨씬 적합하다는 방향성을 증명했기 때문입니다.

다만 확산 모델 특유의 연산량은 여전히 부담스럽습니다. 고사양 인프라를 벗어나 실제 엣지 환경에서 실시간 폐루프 제어가 요구하는 낮은 지연 시간을 온전히 감당할 수 있을지가 상용화의 관건입니다.