Motion 3-to-4: 단안 비디오를 4D 동적 객체로 변환하고 모션 전이까지 지원

Motion 3-to-4는 일반적인 단안 비디오를 시간적 일관성을 갖춘 고품질 4D 동적 객체로 직접 합성하는 오픈소스 프레임워크입니다. 2D 영상 속 객체를 4D로 복원할 뿐만 아니라, 추출한 캐릭터의 움직임을 다른 비디오로 전이하는 기능도 지원합니다.

단일 시점 비디오에서 4D 동적 콘텐츠를 합성하는 작업은 학습 데이터가 부족하고, 단안 시점 특유의 기하학적 형상과 움직임의 모호성 때문에 오랫동안 까다로운 과제로 꼽혀왔습니다.

정적 3D 형상과 동작 재구성의 분리

Motion 3-to-4는 4D 생성을 단일 단계로 처리하지 않고, 정적 3D 형상 생성과 모션 재구성이라는 두 단계로 나누어 이 문제를 해결했습니다.

입력 비디오와 함께 제공되는 선택적 3D 참조 메시를 활용해 모델은 컴팩트한 모션 잠재 표현을 학습합니다.

이후 프레임별 정점 궤적을 예측하여 시간 축 전체에서 뒤틀림 없는 완전한 지오메트리를 복원합니다. 형상과 정점의 움직임이 분리되어 작동하기 때문에, 영상 속 캐릭터 모션만 따로 떼어내 다른 영상에 적용하는 것도 가능합니다.

가변 시퀀스 길이에 대응하는 트랜스포머

영상 길이에 유연하게 대응하기 위해 프레임 단위의 확장형 트랜스포머 아키텍처를 도입했습니다. 이를 통해 길이가 서로 다른 시퀀스 입력에 대해서도 안정적인 결과를 냅니다.

표준 벤치마크 평가는 물론 정밀한 정답 지오메트리를 갖춘 신규 데이터셋 평가에서도 이전 모델 대비 높은 정밀도와 공간적 일관성을 기록했습니다.

현재 공식 연구 논문과 프로젝트 페이지가 함께 공개되어 구체적인 기술 구성과 데모를 살펴볼 수 있습니다.

왜 중요한가

고품질 4D 동적 에셋을 제작하려면 대규모 멀티 카메라 리그나 모션 캡처 스튜디오가 필요했습니다. Motion 3-to-4는 일반 단안 영상 하나와 피드포워드 모델만으로도 실용적인 4D 메시를 추출할 수 있음을 증명했습니다.

3D 애니메이터와 게임 개발자에게 가장 유용한 지점은 움직임의 분리입니다. 복잡한 수동 리깅 과정 없이도 영상에서 모션을 추출해 원하는 에셋에 입힐 수 있어 동적 애셋 프로토타이핑 시간을 대폭 줄여줍니다.

단안 촬영 특성상 가려진 뒷면의 기하 복원에는 한계가 존재하지만, 모션 캡처 대안 및 애니메이션 제작 보조 도구로서 충분히 테스트해 볼 가치가 있습니다.