휴머노이드가 영상 보고 슛 배운다, 스킬 전이 프레임워크 HumanX 오픈소스 공개

HumanX는 일반 단안 영상 속 사람의 움직임을 휴머노이드 로봇의 상호작용 스킬로 변환해 주는 오픈소스 풀스택 프레임워크입니다. 고가의 모션 캡처 장비 없이도 일상적인 동영상만으로 로봇의 신체 제어 정책을 훈련할 수 있습니다.

무엇을 할 수 있나

공개된 코드와 데이터셋을 통해 시뮬레이션 환경에서 검증된 여러 상호작용 기술을 바로 재현해 볼 수 있습니다.

현재 Unitree G1 로봇을 이용해 농구 패스 캐치 후 슛, 슛 페이크 동작, 축구 킥, 박스 안 물체 픽 앤 플레이스 등의 동작이 구현되어 있습니다.

미리 준비된 예제뿐만 아니라 사용자가 직접 촬영한 영상도 입력할 수 있습니다. 사람과 물체가 상호작용하는 영상을 넣으면 물리적으로 실행 가능한 로봇 정책으로 변환해 줍니다.

파이프라인과 작동 방식

HumanX는 모션 편집을 담당하는 XGen과 시뮬레이션 모방 학습을 맡는 XMimic 두 가지 모듈로 나뉘며, 모션 데이터 파일로 서로 연결됩니다.

동작 변환 파이프라인은 먼저 GVHMR을 통해 단안 영상에서 3차원 공간 좌표를 가진 인체 모션을 복원하는 것으로 시작합니다.

이후 UMR 모듈이 복원된 모션을 Unitree G1 휴머노이드 하드웨어 구조에 맞게 리타기팅합니다.

다음 단계인 XGen에서는 물리 법칙에 부합하도록 로봇과 물체 간의 상호작용 모션을 편집 및 합성하고 .npz 파일로 내보냅니다.

마지막으로 XMimic이 이 데이터를 학습용 .pkl 형식으로 변환한 뒤, humanoidverse 시뮬레이션 환경에서 모방 학습 정책을 훈련하고 평가합니다.

설치 및 실행

프로젝트 소스 코드는 GitHub에 공개되어 있으며, xgen과 xmimic 디렉터리에 각각의 툴과 예제 모션 데이터가 포함되어 있습니다.

라이선스는 Commons-Clause 조건이 추가된 Apache-2.0을 따릅니다.

개발자는 저장소를 클론한 뒤 XGen 에디터로 모션을 검토 및 합성하거나, XMimic 지침에 따라 시뮬레이션 내 정책 훈련 및 시각화를 실행해 볼 수 있습니다.

왜 중요한가

휴머노이드 로봇에게 농구처럼 역동적인 공놀이나 물체 조작을 가르치려면 막대한 비용의 모션 캡처 설비나 정밀한 수작업 튜닝이 필수적이었습니다. HumanX는 흔한 단안 비디오만으로도 물리 기반 상호작용 정책을 뽑아낼 수 있음을 보여주며 데이터 수집 장벽을 크게 낮췄습니다.

다만 이번 릴리스의 핵심 검증은 시뮬레이션 환경에 집중되어 있습니다. 로봇 강화학습 연구자라면 지금 바로 클론해 테스트해 볼 가치가 충분하지만, 실제 하드웨어로의 전이와 라이선스 제약은 향후 해결해야 할 과제입니다.