엔비디아, 캐릭터·로봇 동작 실시간 생성하는 '모션브릭스' 오픈소스 공개

모션브릭스(MotionBricks)는 엔비디아가 오픈소스로 공개한 실시간 모션 생성 모델입니다. 디지털 캐릭터와 휴머노이드 로봇의 움직임을 마치 블록 장난감을 맞추듯 자연스럽게 이어 붙일 수 있도록 해줍니다.

사용 방식은 직관적입니다. 캐릭터의 최근 포즈 4개와 도달하려는 목표 포즈 1~4개를 입력하면, 모델이 그 사이의 자연스러운 동작 전이를 수 밀리초 안에 계산해 냅니다. 장애물 뛰어넘기나 의자에 앉기와 같은 복잡한 상호작용도 재학습 없이 개별 액션 블록처럼 조립할 수 있습니다.

동작 원리와 파이프라인

기존 애니메이션 제작에서 키프레임 사이를 자연스럽게 잇는 작업은 손이 많이 가는 과정이었습니다. 모션브릭스는 세 가지 모듈이 작업을 분담하는 구조로 이를 해결합니다.

첫 번째 루트 모듈이 캐릭터 중심축의 이동 궤적과 소요 시간을 예측합니다. 두 번째 마스크 토큰 트랜스포머가 해당 경로를 따라 모션 토큰을 배치하고, 마지막 VQ-VAE 디코더가 이 토큰들을 매끄러운 3D 연속 동작으로 복원합니다.

한 번 생성할 때마다 6~16개의 토큰, 즉 약 0.6~1.9초 분량의 30Hz 동작이 만들어집니다. 런타임이 방금 재생된 동작의 마지막 4개 포즈를 다음 생성 단계의 입력값으로 자동 전달하면서 걷기, 달리기, 웅크리기, 좀비 걸음걸이 같은 스타일 동작을 끊김 없이 연속으로 이어갈 수 있습니다.

성능 또한 압도적입니다. 최대 처리 속도는 초당 15,000프레임에 달하며 지연 시간은 약 2밀리초에 불과해, 실시간 게임 엔진이나 실제 로봇 제어 시스템에 곧바로 적용할 수 있는 수준입니다.

모델 사양과 실행 방법

이번 릴리스에는 SOMA 인체 모델과 유니트리 G1(Unitree G1) 휴머노이드 로봇을 위한 사전 학습 가중치가 모두 포함되었습니다. 두 모델의 크기는 각각 약 800MB이며 동일한 제어 코드 경로를 공유합니다.

저장소에는 포즈 간 보간을 실험할 수 있는 인비트위너(Inbetweener), 상호작용 주행을 테스트하는 씬 프리뷰(Scene Preview), 그리고 직접 액션 블록과 씬을 구성할 수 있는 두 종류의 에디터가 포함되어 있습니다.

엔비디아 텐서RT(TensorRT) 기반으로 작동하므로 엔비디아 GPU가 필수이며, 공식 테스트는 지포스 RTX 4090 환경에서 진행되었습니다. 패키지 관리자 uv와 Git LFS가 설치되어 있다면 저장소를 복제한 뒤 번들로 제공되는 ONNX 모델을 통해 바로 데모를 구동할 수 있습니다. 첫 실행 시 텐서RT 플랜이 캐시로 빌드됩니다.

코드는 아파치 2.0 라이선스로 배포되며, 허깅페이스에 공개된 모델 가중치는 조건부 상업적 이용을 지원하는 엔비디아 오픈 모델 라이선스(NVIDIA Open Model Agreement)를 따릅니다.

왜 중요한가

게임 개발자와 3D 아티스트에게 모션브릭스는 복잡한 블렌드 트리와 상태 머신 설정에 드는 시간을 대폭 줄여주는 실용적인 도구입니다. 오브젝트 주변에 목표 포즈 몇 개만 지정하면 번거로운 트랜지션 애니메이션이 자동으로 해결됩니다.

로봇 공학 분야에서도 의미가 큽니다. 가상 인간 캐릭터와 실제 유니트리 G1 로봇을 동일한 파이프라인으로 제어할 수 있음을 보여주었으며, 상위 작업 계획과 하위 모터 제어 사이를 초저지연으로 연결하는 가교 역할을 수행합니다.

모든 동작을 하나의 거대한 블랙박스 모델로 처리하려 하지 않고, 핵심 보간 작업의 속도를 극대화해 모듈형으로 설계한 엔비디아의 접근은 매우 영리합니다. 쿠다(CUDA) 지원 그래픽카드를 보유하고 있다면 직접 저장소를 내려받아 테스트해 볼 가치가 충분합니다.