3D 모델 뼈대 자동으로 심는 'RigMo' 공개: 사람부터 동물·선풍기까지 애니메이션화

3D 모델에 뼈대를 심는 리깅과 관절 움직임에 따라 피부가 늘어나는 정도를 조절하는 스키닝은 3D 그래픽 작업에서 가장 지루하고 손이 많이 가는 과정입니다. 웨이트값을 조금만 잘못 칠해도 캐릭터가 움직일 때 관절이 엿가락처럼 꼬여버리기 일쑤입니다.

연구진은 3D 메시 시퀀스로부터 골격 구조와 모션을 함께 학습하는 통합 프레임워크 RigMo 논문을 공개했습니다. 사람이 일일이 라벨링한 뼈대 데이터 없이도, 움직이는 원시 3D 메시 데이터만 보고 관절 구조와 가중치를 자동으로 알아냅니다.

메시 변형에서 뼈대와 움직임을 분리 학습

기존의 자동 리깅 방식은 리깅과 모션 생성을 별개의 문제로 다뤘고, 사람이 작업한 골격 정답 데이터에 크게 의존했습니다. 이 때문에 정형화되지 않은 생물이나 사물 모델에는 제대로 적용하기 어려웠습니다.

RigMo는 꼭짓점의 변형을 두 가지 잠재 공간으로 압축해 이 문제를 풀었습니다. 하나는 가우시안 본과 스키닝 웨이트를 복원하는 리그 잠재 공간이고, 다른 하나는 시간에 따른 강체 변환을 담당하는 모션 잠재 공간입니다.

두 잠재 공간이 결합되면서 구조가 명확하고 자연스럽게 움직이는 애니메이션 메시가 완성됩니다. 연구진은 여기에 RigMo의 잠재 공간에서 동작하는 Motion-DiT 모델을 추가해, 후속 모션 생성 작업까지 자연스럽게 이어지도록 설계했습니다.

곰부터 회전하는 선풍기까지 뒤틀림 없이 작동

DeformingThings4D, Objaverse-XL, TrueBones 데이터셋 실험 결과, RigMo는 물리적으로 자연스럽고 해석 가능한 뼈대를 정확하게 찾아냈습니다.

인간형 모델뿐만 아니라 곰과 새 같은 동물, 심지어 선풍기처럼 회전 부품이 있는 기계류 물체까지 무리 없이 리깅해냅니다. Uni-Rig 같은 기존 비교 모델과 견주었을 때도 복잡한 움직임에서 뼈대가 엉뚱한 곳에 심어지거나 관절이 비틀어지는 현상이 눈에 띄게 적었습니다.

현재 아카이브에 기술 논문이 공개된 상태이며, 코드와 데이터셋은 곧 오픈소스로 풀릴 예정입니다.

왜 중요한가

1인 인디 게임 개발자나 3D 아티스트에게 자동 리깅은 작업 시간을 수십 시간 단축해 줄 수 있는 꿈의 기술입니다. 모델마다 일일이 웨이트를 칠하지 않아도 된다면 에셋 양산 속도가 비약적으로 빨라집니다. 다만 지금은 논문만 나온 단계라, 실제 프로젝트에 도입하려면 깃허브 코드 공개를 조금 더 기다려야 합니다.

3D 생성 AI 생태계 관점에서도 의미가 큽니다. 최근 쏟아져 나오는 4D 생성 모델들은 표면 정점들만 춤추듯 움직일 뿐, 게임 엔진에 가져가서 다른 동작을 입히기 불가능한 경우가 많았습니다. RigMo처럼 명시적인 본과 스키닝 웨이트를 가진 규격 에셋으로 추출해내야만 실제 게임이나 영상 제작 파이프라인에서 써먹을 수 있습니다.

정지된 모델만 보고 뼈대를 억지로 추측하는 대신, 움직이는 모습을 관찰해 내부 골격을 역추산하도록 만든 설계는 대단히 영리해 보입니다. 입력값으로 연속된 메시 변형 시퀀스가 필요하다는 제약은 있지만, 생성형 3D 기술이 실무 파이프라인에 안착하는 데 중요한 징검다리가 될 것으로 보입니다.