엔비디아, 물리 AI 모델 '코스모스 리즌' 공개…로봇의 두뇌 역할 수행

로봇을 개발할 때 연구자들을 가장 괴롭히는 문제는 관절 모터의 출력이 아니라, '컵이 기울어지면 물이 쏟아진다'는 지극히 당연한 물리 상식을 가르치는 일입니다.

그동안 시각 언어 모델(VLM) 덕분에 사물을 식별하는 눈은 밝아졌지만, 낯선 환경에 맞닥뜨리거나 여러 단계의 작업을 처리할 때면 여전히 길을 잃기 일쑤였습니다. 그렇다고 비싼 실물 로봇을 현장에 굴리며 부딪치게 하기엔 고장 수리비가 너무 뼈아픕니다.

엔비디아가 SIGGRAPH 행사에서 이 난제를 풀기 위한 패키지를 공개했습니다. 로보틱스 개발을 위한 신규 옴니버스(Omniverse) 라이브러리와 물리 세계 모델 '코스모스(Cosmos)', 그리고 이를 뒷받침할 RTX PRO 블랙웰 서버 인프라입니다.

로봇에게 물리 상식을 갖춘 뇌를 주다

이번 발표의 핵심은 오픈형 70억(7B) 파라미터 추론 모델인 '코스모스 리즌(Cosmos Reason)'입니다.

이 모델은 허깅페이스(Hugging Face) 물리 추론 리더보드에서 1위를 차지했습니다. 텍스트만 주고받는 일반 AI와 달리, 로봇의 시각-언어-행동(VLA) 파이프라인에서 실제 판단을 내리는 두뇌 역할을 수행하도록 특화됐습니다.

물리 법칙과 공간 감각을 학습했기 때문에, 처음 마주하는 환경에서도 모호한 명령을 상식에 맞게 여러 단계로 쪼개어 계획을 세웁니다. 우버는 이미 자율주행 학습 데이터의 라벨링에 코스모스 리즌을 투입했고, 자동차 부품 기업 마그나(Magna)는 도심 배송 플랫폼의 경로 계획 모듈에 이를 연동했습니다.

데이터 갈증을 풀어줄 월드 모델도 강화됐습니다. 200만 회 이상 다운로드된 코스모스 제품군에 공간 제어 데이터를 바탕으로 합성 영상을 뽑아내는 '코스모스 트랜스퍼-2'가 합류했고, 기존 70단계 추론 과정을 단 1단계로 줄인 증류 모델도 함께 나왔습니다.

센서 데이터로 현실을 가상에 복제하다

똑똑한 두뇌를 마음껏 훈련시키려면 수백만 번 넘어져도 부서지지 않는 가상 훈련장이 필수적입니다.

엔비디아는 광선 추적 기반의 3D 가우시안 스플래팅 기술을 담은 옴니버스 NuRec 라이브러리를 공개했습니다. 센서로 수집한 현실 데이터를 가상 공간에 정밀한 3D 디지털 트윈으로 복원해 냅니다. 이미 15만 개발자가 쓰는 자율주행 시뮬레이터 CARLA와 포드·포르쉐가 도입한 피프티원(FiftyOne)이 이 기술을 품었습니다.

또한 로봇 공학에서 널리 쓰이는 MuJoCo(MJCF)와 OpenUSD 포맷 간의 상호운용성을 열어젖혀 25만 개발자의 도구 전환 장벽을 없앴습니다. 깃허브에는 아이작 심(Isaac Sim) 5.0과 아이작 랩 2.2가 오픈소스로 풀렸으며 보스턴 다이내믹스, 피규어 AI, 아마존 등이 도입을 마쳤습니다.

왜 중요한가

로봇 연구자 입장에서 이번 발표는 실기 테스트의 위험 비용을 극적으로 낮춰주는 실질적인 진전입니다. 값비싼 로봇 본체를 망가뜨리지 않고도, 물리 상식을 지닌 7B 모델과 고정밀 시뮬레이터를 활용해 방구석에서도 검증 가능한 정책을 뽑아낼 수 있기 때문입니다.

산업 측면에서 엔비디아는 AI 데이터센터 시장을 장악한 방식을 피지컬 AI 영역에 그대로 복제하고 있습니다. 칩만 파는 것이 아니라 3D 렌더링, 합성 데이터 엔진, 추론 모델, 클라우드 파이프라인까지 하나의 규격으로 묶어 버렸습니다. 후발 주자가 성능 좋은 가속기를 들고 와도 이 거대한 소프트웨어 생태계를 넘어서기는 쉽지 않습니다.

우리는 코스모스 리즌을 오픈형으로 내놓은 전략이 영리하다고 봅니다. 두뇌 역할을 하는 모델을 무료로 풀어 생태계를 장악하고, 연산에 필수적인 RTX PRO 블랙웰 서버와 DGX Cloud를 팔아 수익을 회수하는 구조를 짰기 때문입니다.

다만 가상 시뮬레이션이 아무리 정교해졌다고 해도, 현장의 미세한 마찰력 차이나 돌발 변수까지 완벽히 대체할 수는 없습니다. 코스모스로 훈련받은 로봇들이 실험실을 벗어나 실제 공장과 도로에서 얼마나 유연하게 버텨낼지가 이 생태계의 진짜 성패를 가를 것입니다.