엔비디아, 휴머노이드 로봇 모델 'GR00T N1.5' 공개…합성 데이터로 학습 36시간 만에 완료

휴머노이드 로봇에게 컵을 집는 법을 가르치려면, 지금까지는 사람이 직접 모션 캡처 장비를 착용하고 몇 주 동안 같은 동작을 수백 번씩 시연해야 했습니다. 작업대의 높이나 조명이 조금만 바뀌어도 로봇은 헛손질을 하기 일쑤였습니다.

COMPUTEX에서 NVIDIA는 완전히 다른 해결책을 제시했습니다. 사람의 손을 빌리는 대신, 가상 환경에서 AI가 스스로 시뮬레이션을 생성하며 새로운 동작을 배우게 만드는 방식입니다.

젠슨 황 CEO는 휴머노이드 로봇을 위한 오픈 파운데이션 모델 업데이트인 Isaac GR00T N1.5와 합성 모션 데이터 생성 청사진인 GR00T-Dreams를 공개했습니다. 기존에 사람이 수작업으로 약 3개월 동안 수집해야 했던 학습 데이터를, 단 36시간 만에 합성해 냈습니다.

사진 한 장으로 새로운 환경에서의 행동을 그려내다

휴머노이드 로봇 개발의 가장 큰 걸림돌은 항상 데이터 기근이었습니다. 도로를 달리며 방대한 주행 데이터를 모으는 자율주행차와 달리, 비싸고 망가지기 쉬운 휴머노이드를 현실 세계에 마구 굴릴 수는 없었기 때문입니다.

이번에 공개된 GR00T-Dreams는 Cosmos Predict 세계 파운데이션 모델을 활용합니다. 개발자가 작업 공간의 사진 단 한 장만 입력하면, 시스템이 로봇이 해당 환경에서 새로운 작업을 수행하는 비디오를 자동으로 만들어냅니다.

이렇게 생성된 영상에서 액션 토큰을 추출해 로봇에게 새로운 동작을 직접 학습시킵니다. 지난 3월 발표된 GR00T-Mimic이 인간의 시연 데이터를 확장하는 수준이었다면, Dreams는 완전히 새로운 궤적 데이터를 무에서 생성하는 차이를 보입니다.

이러한 합성 데이터를 학습한 GR00T N1.5는 물건 분류나 정리 같은 작업에서 성공률을 크게 높였으며, 낯선 환경에서도 사용자의 자연어 명령을 훨씬 더 정확하게 이해하고 적응합니다.

파이프라인부터 전용 하드웨어까지 전방위 지원

NVIDIA는 단일 모델 공개에 그치지 않고 개발 생태계 전체를 깔아주었습니다. 사유 연쇄 추론으로 합성 데이터의 질을 걸러내는 Cosmos Reason이 Hugging Face에 공개되었고, 2만 4,000개의 로봇 궤적이 담긴 오픈 데이터셋도 배포됩니다.

하드웨어 측면에서는 Dell, Lenovo, HPE 등이 RTX PRO 6000 Blackwell 기반의 워크스테이션과 서버를 발표했습니다. 대규모 연산이 필요한 경우 최대 18배 데이터 처리 성능을 제공하는 GB200 NVL72 시스템을 쓸 수 있으며, 로봇 본체에 탑재될 Jetson Thor 플랫폼도 대기 중입니다.

현재 Boston Dynamics, Agility Robotics, NEURA Robotics, 샤오펑 로보틱스, 폭스콘 등 글로벌 주요 로봇 기업들이 Isaac 플랫폼을 적극 도입해 시뮬레이션과 훈련을 진행하고 있습니다.

왜 중요한가

피지컬 AI가 거대 언어 모델처럼 폭발적으로 성장하지 못했던 가장 큰 이유는 현실 세계와의 상호작용 데이터가 턱없이 부족했기 때문입니다. 사람이 매달려야 했던 3개월의 노가다를 가상 세계의 36시간 연산으로 압축했다는 것은, 로봇 개발의 주기를 근본적으로 바꿔놓는 계기입니다.

자금력이 부족한 스타트업이나 독립 연구진에게도 의미가 큽니다. 비싼 모션 캡처 설비 없이도 오픈소스로 제공되는 N1.5 모델과 데이터 청사진을 활용해 빠르게 실무 테스트에 돌입할 수 있기 때문입니다.

다만 우리가 보기에 합성 데이터 중심의 훈련 방식에는 여전히 경계할 지점이 있습니다. 아무리 정교한 월드 모델이라도 마찰력이나 미세한 센서 노이즈 같은 현실의 불확실성을 100% 모사하기는 어렵습니다. 가상 환경에서 잘 움직이던 로봇이 기름때 낀 실제 공장 바닥에서 예상치 못한 오류를 낼 가능성은 여전히 현장 검증을 거쳐야 합니다.

그럼에도 불구하고 NVIDIA의 이번 발표는 생성형 AI 시장을 지배했던 공식을 로봇 산업에 그대로 이식하겠다는 선언으로 보입니다. 칩셋부터 시뮬레이터, 온로봇 칩까지 로봇 제조사가 거쳐야 할 모든 길목을 선점하면서, 미래 피지컬 AI 시대의 기본 인프라 자리까지 굳혀가고 있습니다.