엔비디아, 모션 생성 AI '모션브릭스' 공개…초당 1만5천 프레임으로 로봇까지 제어

3A 게임의 캐릭터 모션을 제작해 봤거나 휴머노이드 로봇의 보행 알고리즘을 만져본 엔지니어라면 누구나 복잡한 상태 머신(State Machine) 때문에 골머리를 앓았을 것입니다.

《어쌔신 크리드》 같은 대형 타이틀만 해도 캐릭터의 움직임을 자연스럽게 만들기 위해 15,000개 이상의 애니메이션과 5,000개 상태, 최대 12단계에 달하는 중첩 애니메이션 그래프를 사용합니다. 새로운 동작을 추가할 때마다 태그를 다시 달고 튜닝하는 지루한 작업이 반복되곤 했습니다.

엔비디아가 이 복잡한 레거시 파이프라인을 AI로 교체하겠다고 나섰습니다.

엔비디아와 취리히 연방 공과대(ETH Zurich), 사이먼 프레이저대, 텍사스대 오스틴 캠퍼스 공동 연구진은 새로운 모션 생성 프레임워크인 '모션브릭스(MotionBricks)'를 발표했습니다. 해당 논문은 컴퓨터 그래픽스 분야 권위지인 ACM Transactions on Graphics에 채택되었으며, SIGGRAPH 2026에서 공식 발표될 예정입니다.

12단계 상태 머신 대신 '스마트 프리미티브' 하나로

모션브릭스의 핵심은 단 하나의 신경망 백본으로 무려 35만 개가 넘는 동작 스킬을 실시간 처리한다는 점입니다.

복잡한 상태 전이 그래프를 일일이 짜는 대신 연구진은 '스마트 프리미티브(Smart Primitives)'라는 방식을 도입했습니다. 사용자의 조작 속도, 방향, 스타일 설정, 게임 내 이벤트 등을 키프레임 조건으로 변환하면, 모델이 그 사이의 연속 동작을 알아서 채워 넣는 구조입니다.

작동 원리는 정교한 중간 프레임 생성(In-betweening)과 유사합니다. 루트 모듈이 동작에 필요한 프레임 수와 무게중심 궤적을 먼저 예측하고, 포즈 모듈이 자세 토큰을 예측한 뒤 디코더가 최종적인 연속 관절 움직임을 풀어냅니다.

이동 동작의 경우 제로샷 프롬프트만으로 부상당해 저는 걸음, 좀비 걸음걸이, 건너뛰기, 대각선 이동 같은 다양한 스타일을 즉시 연출합니다. 런타임에 게임패드 입력에 맞춰 보행 스타일을 부드럽게 섞는 기능도 지원합니다.

칼을 집어 들거나 벤치를 뛰어넘고 문을 여는 등 사물과의 상호작용 역시 프록시 키프레임으로 처리합니다. 하위 작업마다 별도로 모델을 재학습시키거나 수동 태깅을 거칠 필요가 전혀 없습니다.

언리얼 엔진 5에서 실제 유니트리 G1 로봇까지

성능 수치 또한 인상적입니다.

연구진에 따르면 모션브릭스는 키프레임 사이의 동작을 생성할 때 2밀리초(ms)에 불과한 지연 시간과 초당 15,000프레임(15,000 FPS)이라는 압도적인 처리량을 기록했습니다. FID와 지터(떨림) 등 주요 평가 지표에서도 기존 중간 프레임 생성 방식을 크게 앞섰습니다.

연구진은 언리얼 엔진 5 환경에서 아크로바틱 동작과 물체 조작이 매끄럽게 이어지는 데모를 시연했습니다. 하지만 더 중요한 것은 가상 공간을 벗어난 확장성에 있습니다.

모션브릭스는 가상 캐릭터뿐 아니라 실제 유니트리 G1(Unitree G1) 휴머노이드 로봇의 전신 제어에도 곧바로 적용되었습니다. 게임 캐릭터 애니메이션과 물리 로봇 제어라는 서로 다른 두 영역의 간극을 단일 모델로 메운 셈입니다.

현재 깃허브에는 유니트리 G1 제어 데모와 합성 데이터 학습 파이프라인이 포함된 프리뷰 버전 코드가 공개되어 있습니다. 엔비디아의 전신 로봇 제어 프레임워크인 'GR00T'와 완전히 결합된 정식 버전은 2026년 7월경 출시될 예정입니다.

왜 중요한가

우리는 모션브릭스가 게임 산업이 수십 년간 축적해 온 고품질 모션 자산을 피지컬 AI(로봇 공학)로 단번에 수혈하는 가장 영리한 징검다리라고 봅니다.

게임 개발자 입장에서는 골치 아픈 12단계 상태 머신을 걷어낼 수 있는 기회입니다. 2밀리초 수준의 초저지연으로 동작이 즉각 생성된다면, 오픈월드 NPC의 반응성과 역동성은 완전히 다른 차원으로 올라갑니다.

로봇 공학 진영에는 더 큰 호재입니다. 물리 세계에서 휴머노이드의 모션 데이터를 수집하는 일은 천문학적인 비용이 들지만, 게임업계에는 이미 방대한 모션 캡처 데이터가 쌓여 있습니다. 두 영역을 하나의 잠재 공간 모델로 묶어낼 수 있다면 로봇은 가상 세계의 화려한 동작들을 손쉽게 습득할 수 있게 됩니다.

다만 시뮬레이터 안에서 15,000 FPS를 뽑아내는 것과 거친 실제 물리 환경에서 외란을 버텨내는 것은 전혀 다른 문제입니다. 실제 지면에서의 미끄러짐이나 균형 붕괴를 모델이 얼마나 견뎌낼지는 7월 GR00T 프레임워크와의 정식 결합 이후 검증이 필요합니다.