단일 이미지로 뼈대 갖춘 3D 에셋 생성하는 'AniGen' 공개

지난 1년 동안 이미지 한 장으로 3D 모델을 만드는 기술은 흔해졌지만, 그렇게 나온 결과물은 대부분 움직일 수 없는 석고상에 불과했습니다. 이를 게임이나 영상에서 움직이게 만들려면 뼈대를 심고 관절 가중치를 일일이 조절하는 고된 '리깅(Rigging)' 작업을 거쳐야 했습니다.

연구 논문과 함께 코드가 공개된 오픈소스 프레임워크 'AniGen'은 이 병목을 정면으로 돌파했습니다. 단 한 장의 2D 사진만 입력하면 관절 뼈대와 스키닝 가중치까지 완벽하게 심어진 3D 에셋을 한 번에 뽑아냅니다.

뼈와 살을 동시에 빚어내는 S³ Fields

기존 방식은 3D 형상을 먼저 만들고 외부 자동 리깅 툴을 덧씌우는 순차적 구조였습니다. 이 과정에서 뼈대가 모델 표면 밖으로 삐져나오거나 관절을 꺾을 때 형태가 심하게 일그러지는 결함이 잦았습니다.

AniGen은 형상(Shape), 골격(Skeleton), 스킨(Skin)을 단일 공간에서 함께 학습하는 'S³ Fields' 구조를 고안했습니다. 형상을 만들면서 뼈대의 위치와 피부의 반응 방식을 동시에 계산하는 방식입니다.

연구팀은 뼈대 경계면의 모호성을 해결하기 위해 신뢰도 감쇠 스켈레톤 필드를 도입했습니다. 아울러 관절 수에 얽매이지 않고 스키닝 가중치를 추정할 수 있는 듀얼 스킨 피처 필드를 더해, 고정된 모델 구조로도 단순한 기계부터 복잡한 생체 관절까지 모두 소화하도록 설계했습니다.

전체 생성 과정은 2단계 플로우 매칭(Flow-matching) 파이프라인으로 작동합니다. 먼저 대략적인 구조적 뼈대를 잡은 뒤, 구조화된 잠재 공간에서 정밀한 지오메트리와 관절을 채워 넣습니다.

스탠드 조명부터 상어까지 바로 애니메이션 적용

공개된 시연 결과는 인상적입니다. 책상용 스탠드 사진을 넣으면 기계식 관절 힌지를 정확히 인식해 자유롭게 각도를 꺾을 수 있는 모델을 만들어냅니다.

생물체 역시 마찬가지입니다. 상어 사진을 입력하면 몸통 곡선을 따라 척추 뼈대가 자연스럽게 배치되어 곧바로 헤엄치는 모션을 줄 수 있고, 강아지 사진 역시 다리 관절이 자연스럽게 연동되어 뛰어다니는 동작이 가능합니다.

벤치마크 테스트에서도 AniGen은 세그멘테이션과 골격 추정 품질 모두에서 기존 순차 방식 모델들을 크게 앞서며 정답 데이터에 가장 근접한 성능을 기록했습니다.

프로젝트 코드는 이미 깃허브 등에 공개되어 로컬 실행이 가능합니다. 다만 실행 환경 요구 사양이 꽤 높아 최소 18GB 이상의 VRAM을 갖춘 엔비디아 GPU가 필요합니다.

왜 중요한가

AniGen은 3D 생성 기술의 무게중심이 '정적인 껍데기'에서 '실제 작동하는 에셋'으로 넘어갔음을 보여줍니다.

인디 게임 개발자나 1인 애니메이션 제작자에게 리깅은 가장 지루하고 손이 많이 가는 구간이었습니다. 사진 한 장으로 엔진에 바로 집어넣을 수 있는 가동형 모델이 나온다면 에셋 제작에 드는 시간과 비용을 획기적으로 줄일 수 있습니다. 나아가 손잡이를 돌리거나 문을 여는 등 물리적 상호작용 데이터가 대량으로 필요한 로봇공학과 체화된 AI(Embodied AI) 시뮬레이션 환경 구축에도 큰 보탬이 됩니다.

불안정한 후처리 리깅을 버리고 잠재 공간에서 뼈대와 외형을 동시에 만들어내는 접근법은 기술적으로 매우 영리합니다. 18GB VRAM이라는 사양 장벽이 있어 일반 사용자보다는 전문 워크스테이션 환경에 먼저 정착하겠지만, 3D 파이프라인의 자동화 수준을 한 단계 끌어올린 결과물임은 분명합니다.