일반 영상을 4D 점군으로 변환해 다시 찍는 ‘Vista4D’ 공개

영상 편집실에서 가장 흔히 겪는 아쉬움은 현장에서 카메라 앵글을 더 역동적으로 잡지 못했다는 자책입니다. 지금까지는 앵글을 바꾸려면 배우와 스태프를 다시 불러 재촬영하는 것 외에 방법이 없었습니다.

연구진은 단일 평면 비디오를 시간 축이 포함된 4D 포인트 클라우드로 변환하는 ‘Vista4D’ 프레임워크를 공개했습니다. 이미 촬영이 끝난 2D 영상을 자유롭게 카메라 워크를 다시 설계하고 내부 요소를 수정할 수 있는 가상 스튜디오로 탈바꿈시키는 기술입니다.

4D 포인트 클라우드로 다시 찍는 영상

기존의 비디오 재촬영(video reshooting) 기술은 움직이는 피사체가 있는 실제 환경에서 심도 추정 오류로 화면이 일그러지거나, 카메라 경로를 크게 변경할 때 원본 외형을 유지하지 못하는 고질적인 문제를 안고 있었습니다.

Vista4D는 정적 픽셀 분할과 4D 재구성을 결합해 4D 포인트 클라우드 표현 방식을 구축했습니다. 입력 비디오의 시각 정보와 목표 카메라 궤적을 3차원 공간 및 시간 축에 안정적으로 고정하고, 다중 시점 동적 데이터로 학습시켜 실제 추론 시 발생하는 포인트 클라우드 왜곡을 억제했습니다.

이전에 등장했던 Recam Master나 Trajectory Crafter 같은 생성 도구들과 비교했을 때, Vista4D는 피사체와 배경 세부 묘사의 일관성을 훨씬 안정적으로 유지하며 역동적인 줌 시차 효과까지 매끄럽게 재현해 냅니다.

공간 안에서 직접 더하고 빼는 동적 편집

영상이 3D 점군 데이터 형태로 저장되기 때문에, 편집 역시 2D 화면 위가 아닌 입체 공간 안에서 직접 이루어집니다.

원래 영상에 자동차가 한 대만 등장하더라도 점군 공간에 다른 차량 데이터를 추가해 두 대가 달리는 장면을 렌더링할 수 있습니다. 앵글 앞을 가로막는 행인의 점군을 통째로 들어내 원래 아무도 없었던 것처럼 깨끗한 영상을 다시 뽑아내는 것도 가능합니다. 다른 영상에서 추출한 코뿔소나 벤치에 앉은 노부부의 4D 점군을 통째로 가져와 합성하는 작업도 지원합니다.

고정 앵글에서 보이지 않던 실내 사각지대는 모델이 스스로 추론해 채워 넣으며, 방 전체 구조가 담긴 별도 영상을 추가 입력하면 점군을 정확하게 보정해 360도 회전 궤적의 샷까지 완성합니다. 현재 코드와 사전 학습 모델이 공개된 상태입니다.

왜 중요한가

영상 제작자와 소규모 크리에이터에게 Vista4D는 촬영 현장의 실수나 한계를 극복하게 돕는 강력한 안전장치가 될 수 있습니다. 복잡한 다중 카메라 세팅이나 크로마키 합성 없이도, 단일 렌즈로 촬영한 일상 영상을 사후 편집이 가능한 디지털 자산으로 전환할 수 있기 때문입니다.

기술적인 접근법에서도 주목할 만합니다. 모든 과정을 거대 비디오 확산 모델의 통계적 추론에만 의존하는 대신, 명시적인 4D 점군이라는 기하학적 뼈대를 중간 매개체로 둔 설계가 돋보입니다. 덕분에 생성형 모델이 취약한 물리적 연속성과 정밀한 카메라 제어를 동시에 확보했습니다.

물론 앵글이 극단적으로 꺾일 때의 광원 일치 문제나 미세한 윤곽선 마감 등 방송용 퀄리티에 도달하기 위해 보완할 점은 여전히 남아 있습니다. 그럼에도 단순한 픽셀 보정을 넘어 영상 자체를 4차원 공간 데이터로 다루기 시작했다는 점에서 의미가 큽니다.