일반 영상 속 인물을 4D 캐릭터로 변환하는 오픈소스 '4DAnyone' 공개

4DAnyone은 스마트폰 등으로 가볍게 촬영한 단일 인물 동영상을 360도 자유롭게 돌려볼 수 있는 4D 캐릭터로 재구성해 주는 오픈소스 프레임워크입니다.

영상을 입력하기만 하면 걷거나 움직이는 인물을 시간 축이 포함된 4D 가우시안 스플래팅(4D Gaussian Splatting) 모델로 변환해 줍니다. 인물의 체형이나 다양한 의상 스타일에도 유연하게 대응합니다.

단안 영상에서 다시점 일관성을 유지하는 기술

기존의 ReCam Master나 Trajectory Crafter 같은 4D 생성 모델들은 몇몇 각도에서는 그럴듯한 화면을 만들었지만, 4DGS 재구성에 필요한 수십 개의 시점으로 확장하면 인물 외형이 무너지거나 구조적 드리프트가 발생하는 문제가 있었습니다.

4DAnyone은 세 단계 파이프라인으로 이 문제를 해결합니다. 먼저 원본 영상에서 3D 골격 모델을 추출해 움직임의 뼈대를 잡습니다.

그 다음 골격 가이드를 바탕으로 비디오 확산 모델이 다양한 각도의 새로운 시점 영상을 생성합니다. 이때 참조 시점의 맥락을 고정 길이로 압축하는 RCP 기법과, 노이즈 제거 과정에서 시점 그룹을 회전시켜 정보 교환을 돕는 TCR 기법을 적용해 시점 간 일관성을 단단하게 묶어둡니다. 마지막으로 이 영상들을 결합해 4D 가우시안 스플래팅 모델로 재구성합니다.

스펙과 오픈소스 제공 범위

연구진은 자체 게임 엔진으로 구축한 MVGameHuman 데이터셋을 비롯해 라이트 스테이지 및 실제 촬영 영상을 결합해 모델을 훈련했습니다. DNA-Rendering과 DyMVHumans 벤치마크 테스트 결과, 기존 방법들에 비해 새로운 시점 영상 품질과 4DGS 재구성 결과 모두에서 우수한 성능을 입증했습니다.

현재 코드와 로컬 실행 튜토리얼, 약 12GB 크기의 모델 가중치가 완전히 공개되어 있습니다.

카메라 보정이 필요 없는 일상적인 모바일 영상으로도 작동하지만, 12GB에 달하는 모델을 구동하기 위해서는 넉넉한 VRAM을 갖춘 고성능 GPU 환경이 요구됩니다.

왜 중요한가

인디 게임 개발자나 3D 그래픽 및 VFX 제작자라면 즉시 테스트해 볼 만한 가치가 있습니다. 과거에는 움직이는 사람의 4D 볼륨을 캡처하려면 수십 대의 카메라가 동기화된 전용 스튜디오가 필수적이었으나, 일반 영상 하나로 수준 높은 4D 에셋을 뽑아낼 수 있어 진입 장벽을 대폭 낮췄습니다.

다만 보이지 않는 각도의 디테일은 어디까지나 확산 모델의 예측에 기반하므로, 동작이 지나치게 복잡하거나 가림이 심한 장면에서는 지오메트리 왜곡이 나타날 수 있습니다. 그럼에도 불구하고 로컬에서 직접 돌려볼 수 있는 오픈소스 4D 인물 복원 도구 중에서는 가장 앞선 디테일과 일관성을 보여줍니다.