텐센트 VerseCrafter 공개: 이미지 한 장으로 블렌더에서 카메라와 물체 궤적 직접 제어하는 비디오 생성

AI로 비디오를 만들 때 가장 답답한 순간은 연출을 제어할 수 없을 때입니다. 프롬프트에 아무리 카메라를 오른쪽으로 돌리고 인물을 앞으로 걸어가게 해달라고 적어도, 모델은 프레임마다 물체를 녹여버리거나 엉뚱한 방향으로 화면을 비틀어버리기 일쑤였습니다.

텐센트 연구진이 공개한 VerseCrafter는 이러한 통제 불능의 생성 과정을 시원하게 긁어주는 4D 비디오 월드 모델입니다. 정지 이미지 한 장만 주어지면 3D 제작 도구인 블렌더(Blender) 안에서 카메라 패스를 직접 긋고 물체의 이동 경로를 지정해, 완벽하게 통제된 고화질 비디오를 Wan2.1 기반으로 뽑아낼 수 있습니다.

평면 이미지를 3D 스튜디오로 옮겨오는 원리

기존 영상 생성 모델들이 텍스트 프롬프트에 기대어 확률적으로 카메라를 움직였다면, VerseCrafter는 컴퓨터 그래픽스의 공간 개념을 직접 주입합니다.

입력 이미지가 들어오면 MoGe를 통해 깊이(Depth)를 계산하고, SAM 2를 사용해 전경에 위치한 물체들을 분할합니다. 이를 결합해 정적인 3D 포인트 클라우드 배경을 세우고, 움직일 물체들을 3D 가우시안(3D Gaussian) 궤적으로 전환합니다.

작업 방식도 직관적입니다. 연구진이 제공하는 블렌더 플러그인을 활용해 작업자는 3D 뷰포트에서 직접 카메라 리그를 움직이거나 여러 물체의 이동 경로를 지정할 수 있습니다. 카메라는 고정한 채 물체만 움직이거나, 반대로 정적인 공간에서 카메라만 이동시킬 수도 있습니다. 이렇게 블렌더에서 정의된 경로는 프레임별 4D 기하학적 제어 맵으로 변환됩니다.

핵심 비디오 생성 엔진으로는 오픈소스 모델인 Wan2.1을 사용합니다. 이때 Wan2.1의 백본 가중치는 완전히 고정(Frozen)해 본래의 사실적인 비주얼 품질을 보존하고, 가벼운 GeoAdapter를 통해 제어 신호만 잔차(Residual) 변조 방식으로 주입합니다. 외신 보도에 따르면 YuMe나 Uni3D 같은 기존 시점 합성 기술과 비교했을 때 공간적 일관성과 안정성이 눈에 띄게 우수하다는 평가입니다.

학습을 위해 연구진은 Sekai-Real-HQ(26%)와 SpatialVID-HQ(74%)에서 추출한 3만 5천 개의 학습용 클립과 1천 개의 검증 클립으로 구성된 VerseControl4D 데이터셋을 구축했습니다. 이 데이터셋의 약 20%는 카메라 단독 움직임을 정교하게 검증할 수 있는 정적 장면으로 채워졌습니다.

정밀한 제어 뒤에 남은 한계

하지만 연구진이 밝힌 것처럼 VerseCrafter에도 아직 개선해야 할 빈틈들이 존재합니다.

가장 큰 한계는 물체의 회전 제어입니다. 현재 구조는 물체의 방향을 정밀한 6自由度(6D 포즈)가 아니라 타원체의 주축 수준으로 다룹니다. 자동차처럼 앞뒤가 명확한 직육면체 형태의 강체는 정확히 제어되지만, 단면이 원형에 가까운 서 있는 인물의 경우 앞뒤 방향을 명확히 구분하지 못해 시선이나 얼굴 방향이 어색하게 틀어지는 현상이 발생할 수 있습니다.

또한 배경 포인트 클라우드가 첫 번째 프레임을 기반으로 고정되어 있기 때문에, 시간에 따라 형태가 변하는 비강체 배경은 물리적으로 반영하기 어렵습니다. 폭포수나 파도처럼 텍스처 중심의 유체 움직임은 3D 투영 과정에서 제어력이 떨어져 카메라나 단단한 물체만큼 완벽하게 재현되지 못합니다.

왜 중요한가

생성형 비디오 시장은 이제 단순한 화질 경쟁을 넘어 '감독이 원하는 대로 정확히 연출할 수 있는가'라는 제작 현장의 요구에 직면해 있습니다. VerseCrafter가 돋보이는 이유는 사용자에게 복잡한 새 인터페이스를 강요하는 대신, 업계 표준 3D 툴인 블렌더를 조종간으로 삼았다는 점입니다.

콘티 작업자나 3D 아티스트, 독립 창작자에게 이 방식은 엄청난 시간 절약을 의미합니다. 원하는 구도로 카메라를 잡고 물체를 드래그해 놓기만 하면 일관성 있는 비디오가 출력되기 때문입니다. 심지어 하나의 씬을 두 가지 플레이어 시점으로 각각 렌더링해도 시공간 일관성이 유지된다는 점은 게임 컷신이나 버추얼 프로덕션에 즉시 응용할 수 있는 잠재력을 보여줍니다.

기술적으로도 Wan2.1을 그대로 두고 가벼운 어댑터만 얹어 기하학적 제어를 구현한 것은 매우 영리한 접근입니다. 막대한 비용을 들여 거대 비디오 모델을 밑바닥부터 다시 학습시키지 않아도 실용적인 통제력을 확보할 수 있음을 증명했기 때문입니다. 인물 디테일과 배경 유체 표현의 한계는 남아 있지만, AI 비디오가 무작위 생성기에서 진정한 창작 도구로 진화하는 데 중요한 이정표를 세웠다고 평가할 수 있습니다.