엔비디아, 4.4만 시간 인간 영상 학습한 로봇 월드 모델 '드림도조' 공개

로봇에게 물건을 쥐거나 문을 여는 법을 가르치려면 지금까지는 고가의 실물 로봇을 사람이 일일이 조작하며 데이터를 모아야 했습니다.

Nvidia가 UC 버클리, 스탠퍼드, 텍사스 대학교 오스틴 캠퍼스 등과 협력해 인간의 1인칭 시점 영상을 보고 물리 법칙을 학습하는 로봇 월드 모델 DreamDojo를 공개했습니다.

4만 4000시간 인간 영상으로 훈련

DreamDojo의 기반은 4만 4000시간 분량의 인간 1인칭 비디오로 구성된 DreamDojo-HV 데이터셋입니다. 연구팀에 따르면 기존 최대 월드 모델 훈련 데이터셋과 비교해 재생 시간은 15배, 습득 가능한 기술 수는 96배, 환경 장면 수는 2000배 늘어난 규모입니다.

훈련은 두 단계로 나뉩니다. 먼저 대규모 인간 영상에서 잠재 행동 방식을 통해 물리적 상식을 습득한 뒤, 특정 로봇 하드웨어에 맞춰 연속적인 제어 동작을 미세 조정합니다.

모델 증류 기법을 통해 10 FPS 속도로 1분 이상 실시간 상호작용을 유지하는 기술적 진전도 이뤄냈습니다. 연구진은 GR-1, G1, AgiBot, YAM 등 여러 상용 휴머노이드 플랫폼에서 정밀한 동작 시뮬레이션을 시연했습니다.

왜 중요한가

우리는 DreamDojo가 로봇 공학의 가장 큰 골칫거리인 실기기 데이터 수집 병목을 영리하게 우회했다고 봅니다. 값비싸고 부서지기 쉬운 실물 로봇을 굴리는 대신, 풍부한 인간 시점 영상을 통해 현실 세계의 기본 물리 감각을 먼저 가르쳤기 때문입니다.

로봇 도입을 고민하는 기업 입장에서 가장 매력적인 부분은 시뮬레이션입니다. 조명이 바뀌거나 예상치 못한 장애물이 나타나면 오작동하기 쉬운 실제 현장에 바로 투입하기 전에, 월드 모델 안에서 제어 정책을 안전하게 검증하고 동작 계획을 다듬을 수 있습니다.

다만 인간의 손과 로봇의 그리퍼는 구조와 촉각 피드백이 완전히 다릅니다. 눈으로 배운 물리 직관이 복잡한 작업 현장의 세밀한 힘 제어로 완벽히 이어질지는 더 검증이 필요하며, 초당 10프레임 속도 역시 급박한 충돌 회피 상황에서는 다소 아쉬울 수 있습니다.

젠슨 황 CEO가 로보틱스를 일생일대의 기회로 규정하고 빅테크의 AI 인프라 투자가 사상 최고치를 향해 가는 지금, Nvidia는 하드웨어 칩을 넘어 로봇 생태계의 소프트웨어 표준까지 선점하려는 것으로 보입니다.