Mocap Anything v2 공개: 일반 영상에서 임의의 3D 골격 애니메이션 직접 생성

3D 캐릭터 모션 캡처는 늘 까다로운 영역이었습니다. 사람은 전용 슈트를 입히거나 스튜디오에서 촬영하면 되지만, 네발 달린 동물이나 기괴한 사지를 가진 몬스터는 애니메이터가 프레임 단위로 수작업을 해야만 했습니다.

일반 단안 영상에서 모든 종류의 골격 애니메이션을 추출해 내는 AI 프레임워크 'Mocap Anything v2'가 오픈소스로 공개됐습니다.

사람은 물론 동물, 가상의 크리처까지 영상 속 움직임을 3D 캐릭터에 바로 적용 가능한 깔끔한 관절 회전 데이터로 변환합니다. GitHub에는 설치 및 추론 방법뿐 아니라 직접 모델을 훈련할 수 있는 스크립트까지 함께 올라왔습니다.

분리된 단계를 없애고 엔드투엔드로 통합

기존의 단안 영상 기반 모션 캡처는 대부분 두 단계를 거쳤습니다.

먼저 영상에서 관절의 3차원 위치를 추정하고, 그 위치를 바탕으로 전통적인 역운동학(IK) 수식을 풀어 관절의 회전 각도를 계산하는 방식이었습니다. 문제는 위치 좌표만으로는 뼈의 축 회전 같은 자유도를 완벽히 특정할 수 없다는 점이었습니다. 게다가 비미분 구조인 기존 IK는 역전파 학습이 불가능해, 관절이 기괴하게 뒤틀리거나 떨리는 오류를 모델 스스로 바로잡을 수 없었습니다.

Mocap Anything v2는 위치 추정과 회전 복원을 완전히 하나로 묶어 동시에 최적화하는 최초의 엔드투엔드 구조를 도입했습니다. 타깃 모델의 기본 자세(rest pose)와 참조 자세·회전 쌍을 함께 입력받아 회전 좌표계 기준을 명확히 잡음으로써 모호성을 깔끔하게 해결했습니다.

중간 과정에서 무거운 3D 메시를 생성하지 않고 영상에서 곧바로 관절 회전을 예측하며, 골격 구조를 반영한 그래프 멀티헤드 어텐션(GL-GMHA)을 적용했습니다. 그 결과 회전 오차는 기존 약 17도에서 약 10도로 줄었고, 학습에 쓰이지 않은 낯선 골격에서도 6.54도를 기록했습니다. 추론 속도 역시 기존 메시 기반 파이프라인보다 약 20배 빨라졌습니다.

왜 중요한가

인디 게임 개발자와 소규모 애니메이션 스튜디오 입장에서 비인간형 생명체의 모션 제작 비용이 획기적으로 낮아졌습니다.

대형 모션 캡처 장비 없이도 동물 다큐멘터리나 직접 찍은 반려동물 영상에서 자연스러운 뼈대 회전값을 뽑아내 Blender나 Maya의 리깅에 바로 연동할 수 있습니다.

산업적 관점에서도 의미가 큽니다. 지금까지의 여러 3D 모션 AI는 영상으로 볼 때는 자연스러워 보여도 실제 엔진에 임포트하면 관절이 뒤틀려 프로덕션 파이프라인에서 버려지기 일쑤였습니다. Mocap Anything v2는 현업 애니메이터가 실제로 다루는 관절 회전값 자체를 정밀하게 뽑아냅니다.

불필요하게 복잡한 3D 메시 복원을 과감히 덜어내고 뼈대의 회전값에만 집중해 속도와 정확도를 동시에 챙긴 판단은 매우 영리해 보입니다. 타깃 캐릭터의 레스트 포즈 준비 등 기본적인 3D 지식이 다소 필요하지만, 코드와 학습 스크립트가 모두 공개된 만큼 3D와 게임 엔진을 다루는 창작자라면 지금 바로 내려받아 테스트해 볼 가치가 충분합니다.