스태빌리티 AI, 단일 영상으로 4D 에셋 만드는 'SV4D 2.0' 공개

Stable Video 4D 2.0(SV4D 2.0)은 일반적인 단일 앵글 영상 하나만으로 시점을 자유롭게 회전할 수 있는 동적 4D 에셋을 직접 만들어내는 도구다.

스태빌리티 AI가 공개한 이 다중 뷰 비디오 확산 모델은 복잡한 다중 카메라 장비나 사전 참조 이미지 없이도 작동한다. 특정 물체가 중심에 담긴 일반 동영상 클립 하나만 입력하면 시간 흐름과 새로운 시점 합성이 동시에 적용된 결과물을 얻을 수 있다.

무엇을 할 수 있는가

움직이는 물체의 보이지 않는 뒷면과 옆면을 왜곡 없이 시각화하는 작업은 3D 생성 분야에서 가장 까다로운 난제였다. SV4D 2.0은 이 과정을 단순화해 전문적인 디지털 제작 파이프라인에 곧바로 투입할 수 있도록 설계됐다.

게임 개발자라면 단일 동작 영상에서 캐릭터의 다각도 스프라이트 시트를 손쉽게 렌더링할 수 있다. 영화나 가상 환경 제작에서도 복잡한 3D 수작업 모델링 없이 배경용 동적 소품과 보조 에셋을 빠르게 제작하는 것이 가능하다.

벤치마크 결과도 뚜렷하다. 이미지 충실도를 측정하는 LPIPS, 다중 시점 일관성을 나타내는 FVD-V, 시간적 일관성을 나타내는 FVD-F, 종합 지표인 FV4D 전반에서 DreamGaussian4D, L4GM, 이전 세대 SV4D를 제치고 1위를 기록했다. 새로운 시점 합성 분야에서도 Diffusion^2와 SV3D보다 훨씬 선명하고 왜곡 없는 프레임을 뽑아낸다.

작동 원리와 한계

SV4D 2.0의 핵심은 단계별 훈련 방식에 있다. 정적 3D 에셋을 통해 물체의 입체 기하학적 구조를 먼저 학습시킨 다음, 형태가 안정화된 상태에서 시간 축에 따른 모션을 추가해 동적 생성 시 형태가 무너지는 현상을 막았다.

네트워크 내부에는 3D 공간과 시간적 특징을 유기적으로 엮어내는 3D 어텐션 메커니즘을 새롭게 탑재했다. 이를 통해 별도의 다각도 참조 뷰가 없어도 프레임 간, 시점 간 일관성을 동시에 유지한다.

합성 데이터셋으로 미세 조정되었지만 사전 훈련된 비디오 모델의 현실 세계 이해도를 그대로 이어받아 실제 촬영된 물체 영상도 자연스럽게 처리한다. 다만 움직임이 지나치게 빠르거나 역동적인 장면에서는 여전히 텍스처 깨짐이나 아티팩트가 일부 나타날 수 있다.

왜 중요한가

동적 4D 에셋 생성은 그동안 수십 대의 카메라 리그와 대규모 모션 캡처 설비를 갖춘 대형 스튜디오의 전유물이었다. SV4D 2.0은 이를 평범한 단일 카메라 영상 한 편 수준으로 낮추어 인디 개발사나 1인 크리에이터의 제작 진입 장벽을 대폭 허물었다.

스태빌리티 AI는 이번 모델 역시 오픈소스 생태계에 풀었다. 허깅페이스에서 가중치를 다운로드할 수 있고, 깃허브에 코드, arXiv에 기술 논문이 공개되었으며, 커뮤니티 라이선스 하에 상업적 이용도 가능하다. 가벼운 3D 인터랙티브 에셋이나 게임 프로토타입을 제작 중이라면 지금 즉시 프로젝트에 적용해 테스트해 볼 가치가 충분하다.