정적 3D 모델에 자동으로 뼈대를 심는 'MagicArticulate' 발표

정적 3D 모델을 생성하는 일은 이제 몇 초면 가능해졌지만, 이를 게임이나 애니메이션처럼 실제로 움직이게 만드는 리깅과 스키닝 작업은 여전히 전문 아티스트의 고된 수작업에 의존해 왔습니다.

CVPR 2025에 게재된 논문 MagicArticulate는 이러한 번거로운 파이프라인을 완전 자동화하여, 정적 3D 메시를 즉시 애니메이션 가능한 에셋으로 변환하는 프레임워크를 공개했습니다.

텍스트를 쓰듯 뼈대를 생성하는 오토리그레시브 트랜스포머

기존의 자동 리깅 방식은 정해진 뼈대 구조에 얽매여 있어, 관절 개수나 형태가 제각각인 다양한 캐릭터와 사물에 유연하게 대응하기 어려웠습니다.

MagicArticulate 연구진은 뼈대 생성을 시퀀스 모델링 문제로 재정의하고, 오토리그레시브 트랜스포머를 도입해 이 한계를 풀었습니다.

입력된 3D 메시 표면에서 포인트 클라우드를 샘플링한 뒤 이를 고정 길이의 형상 토큰으로 인코딩합니다. 이 토큰을 조건으로 삼아 트랜스포머가 관절과 뼈대 간의 종속성을 고려하며 순차적으로 스켈레톤 토큰을 생성해 나가는 구조입니다.

덕분에 모델마다 뼈나 관절 수가 크게 달라도 자연스럽게 처리할 수 있으며, 연구진은 공간적 순서화와 계층적 순서화를 비교하며 생성 안정성을 입증했습니다.

확산 모델 기반 스키닝과 4만 8천 개 규모 벤치마크

뼈대를 배치한 뒤에는 관절이 꺾일 때 메시가 찌그러지지 않도록 스키닝 가중치를 정밀하게 배분해야 합니다.

MagicArticulate는 정점과 관절 사이의 볼륨 측지선 거리 사전 정보를 결합한 함수형 확산 프로세스를 활용해 스키닝 가중치를 예측합니다.

실험 결과, 기존 대표 모델인 RigNet이나 GVB(Geodesic Voxel Binding)와 비교했을 때 다양한 카테고리의 3D 객체에서 훨씬 자연스럽고 뛰어난 애니메이션 변형 품질을 보여주었습니다.

또한 학습 데이터 부족 문제를 해결하기 위해 Objaverse-XL에서 정선한 3만 3천 개 이상의 관절 주석 3D 모델 데이터셋 Articulation-XL을 구축했으며, 이후 이를 4만 8천 개 이상으로 늘린 Articulation-XL 2.0으로 확장했습니다.

왜 중요한가

생성형 3D 기술의 발전으로 모델 자체는 쏟아져 나오고 있지만, 뼈대가 심어지지 않은 3D 메시는 게임 엔진이나 가상 환경에서 상호작용할 수 없는 디지털 조각상에 불과합니다.

MagicArticulate는 인디 개발자와 콘텐츠 창작자들이 겪어온 가장 까다로운 기술적 장벽인 리깅 및 스키닝 병목을 직접적으로 해소합니다. AI로 뽑아낸 정적 에셋을 곧바로 엔진에 넣어 움직이게 만드는 작업 흐름이 현실화되는 셈입니다.

뼈대 생성을 가변 시퀀스 문제로 바꿔 트랜스포머에 맡긴 점은 형태적 유연성 측면에서 매우 영리하며, 볼륨 측지선 기하학 정보를 확산 모델에 주입해 물리적 파탄을 줄인 설계 역시 실용적입니다.

무엇보다 4만 8천 개 규모의 관절 주석 데이터셋을 확보했다는 사실 자체가 업계에 큰 자산이 될 것으로 보입니다. 이번 연구를 계기로 3D AIGC 파이프라인이 단순한 형상 생성을 넘어 실제 구동 가능한 프로덕션 레디 단계로 빠르게 진화할 것으로 평가됩니다.