스테이빌리티 AI, 단일 영상으로 8개 시점 생성하는 '스테이블 비디오 4D' 공개

스테이블 비디오 4D(Stable Video 4D, SV4D)는 단일 객체가 담긴 영상 하나를 입력받아 서로 다른 8개 카메라 시점의 영상으로 변환해 주는 오픈소스 생성 모델입니다.

단순히 여러 각도의 영상을 뽑아내는 데 그치지 않고, 생성된 멀티뷰 영상을 바탕으로 약 20분에서 25분 만에 객체의 동적 3D 표현을 최적화해 완전한 4D 에셋을 구축할 수 있도록 돕습니다.

무엇을 할 수 있나

사용법은 직관적입니다. 단일 객체 영상을 업로드한 뒤 원하는 3D 카메라 앵글을 지정하기만 하면 됩니다.

SV4D는 단 한 번의 추론으로 약 40초 만에 8개 시점에 걸친 5프레임 영상을 동시에 생성합니다. 창작자는 프로젝트 목적에 맞춰 시점을 자유롭게 조정할 수 있습니다.

이렇게 얻은 다각도 영상을 활용하면 기존 3D 모델러가 수작업으로 프레임을 맞추지 않아도 게임 개발, 비디오 편집, VR 환경에 필요한 동적 3D 형상을 빠르게 재구성할 수 있습니다.

작동 원리와 한계

SV4D는 이미지-비디오 변환 모델인 스테이블 비디오 디퓨전을 기반으로 개발되었으며, 스테이빌리티 AI가 처음 선보이는 비디오-투-비디오 모델입니다.

기존 방식은 이미지, 비디오, 멀티뷰 디퓨전 모델을 복잡하게 엮어 샘플링해야 했습니다. 이 과정에서 거쳐야 하는 스코어 증류 샘플링(SDS)은 연산이 무겁고 시점 간 또는 프레임 간 일관성이 깨지는 문제가 잦았습니다.

반면 SV4D는 다중 시점 영상을 동시에 병렬로 생성합니다. 공간축과 시간축의 일관성을 모델 자체에서 유지하기 때문에 번거로운 다중 모델 SDS 없이도 훨씬 가볍게 4D 최적화를 마칠 수 있습니다.

다만 현재는 연구 단계 프로젝트로, 주로 합성 데이터셋을 기반으로 학습되었습니다. 배경이 복잡한 실제 촬영 영상이나 여러 객체가 얽힌 장면에서는 성능이 떨어질 수 있습니다.

현재 모델 가중치와 기술 보고서는 허깅페이스(Hugging Face)에 공개되어 있어 누구나 직접 내려받아 테스트할 수 있습니다.

왜 중요한가

게임 개발자나 3D 그래픽 및 VR 분야 종사자라면 주목해 볼 만합니다. 평면 영상에서 동적 3D 에셋의 뼈대를 30분 이내에 뽑아낼 수 있다는 점은 프로토타이핑 비용을 획기적으로 낮춰줍니다.

여러 모델을 억지로 이어붙이는 대신 네이티브 다중 시점 생성으로 시공간 일관성을 잡은 설계는 매우 영리한 기술적 선택입니다.

아직은 5프레임 단위의 짧은 결과물과 합성 데이터 위주의 한계가 있어 상용 파이프라인에 즉시 투입하기는 어렵지만, 오픈소스 4D 자동화 기술의 실질적인 가능성을 증명했다는 점에서 의미가 큽니다.