엔비디아, 오픈소스 물리 엔진 '뉴턴' 공개: 딥마인드와 협력

Newton은 엔비디아가 구글 딥마인드, 디즈니 리서치와 공동 개발한 오픈소스 GPU 가속 물리 엔진입니다. 현재 리눅스 재단 산하 프로젝트로 관리되며 엔비디아 Isaac Lab에서 베타 버전으로 사용할 수 있습니다.

이 엔진의 주된 목표는 가상 환경에서 학습한 로봇 제어 기술을 실제 환경으로 매끄럽게 전이하는 것입니다. 복잡한 접촉 물리 계산에 특화되어 눈길이나 자갈길을 걷는 보행 균형은 물론, 컵이나 과일처럼 쉽게 찌그러지는 물체를 정밀하게 쥐는 동작을 현실감 있게 모사합니다.

무엇을 할 수 있나

엔비디아는 Newton과 함께 로봇 학습 전체 파이프라인을 업데이트했습니다.

곧 허깅페이스에 공개될 오픈 기초 모델 Isaac GR00T N1.6은 물리 추론 벤치마크 1위를 기록한 Cosmos Reason 시각언어모델을 내장했습니다. 모호한 자연어 지시를 실행 가능한 단계별 계획으로 변환하며, 로봇이 걸어가면서 동시에 무거운 문을 밀어 여는 전신 협응 작업을 수행할 수 있습니다.

물체 파지 학습 워크플로우도 고도화되었습니다. Isaac Lab 2.3 개발자 프리뷰에서는 중력, 마찰력, 물체 무게를 자동으로 바꿔가며 다지 로봇 핸드의 파지 능력을 단계적으로 훈련시키는 커리큘럼을 제공합니다. 보스턴 다이내믹스의 아틀라스 로봇도 이 워크플로우를 활용해 조작 성능을 개선했습니다.

학습 결과 검증을 위해 엔비디아와 라이트휠은 대규모 시뮬레이션 환경에서 표준화된 테스트를 수행하는 오픈소스 평가 프레임워크 Isaac Lab - Arena를 곧 선보일 예정입니다.

구현 방식과 필요 사양

Newton은 엔비디아 Warp와 OpenUSD 프레임워크를 기반으로 구축되었으며, 다양한 물리 솔버와 호환되어 Isaac Lab뿐 아니라 MuJoCo Playground 등에서도 구동됩니다.

파인튜닝을 위해 개발자는 허깅페이스에서 480만 회 이상 다운로드된 Physical AI 데이터셋의 실기 및 가상 궤적 데이터를 활용할 수 있습니다. 조만간 30초 다중 시점 영상을 생성하는 Cosmos Predict 2.5와 기존 대비 모델 크기를 3.5배 줄인 Cosmos Transfer 2.5도 제공될 예정입니다.

인프라 측면에서는 72개의 블랙웰 GPU를 탑재한 GB200 NVL72 및 RTX PRO 서버가 대규모 시뮬레이션과 훈련을 맡고, 로봇 본체에 탑재되어 실시간 추론을 처리하는 하드웨어로는 블랙웰 기반 젯슨 토르 모듈이 쓰입니다.

Newton 베타는 Isaac Lab에서 즉시 사용할 수 있으며, Cosmos Reason은 NIM 마이크로서비스로 배포되어 있습니다.

왜 중요한가

가상 시뮬레이션과 실제 물리 환경 간의 격차 때문에 고민하던 로봇 엔지니어와 연구팀에게 Newton은 즉시 도입을 검토할 만한 도구입니다. 딥마인드와 디즈니가 참여한 신뢰도 높은 물리 엔진이 리눅스 재단을 통해 오픈소스로 풀렸다는 점만으로도 진입 장벽이 크게 낮아집니다.

엔비디아의 전략 역시 치밀합니다. 물리 엔진부터 기초 모델, 평가 도구까지 전 과정을 오픈소스로 개방해 OpenUSD 중심의 표준을 만들고, 결국 연구 개발부터 로봇 온디바이스 추론에 이르는 전 과정을 자사 칩 생태계로 유입시키려는 의도가 분명하게 드러납니다.