자동차 움직임을 늑대에 입히는 FastVMT, 영상 모션 전이 속도 3.4배 향상

AI로 영상을 만들 때 피사체의 이동 경로와 카메라 무빙을 마음대로 제어하기란 여간 까다로운 일이 아닙니다. 박진감 넘치는 주행 장면을 만들려 해도 자동차가 엉뚱한 방향으로 미끄러지거나 화면 구도가 멋대로 바뀌기 일쑤입니다.

연구진은 기존 영상의 움직임 패턴을 새로운 피사체로 복제해 내는 기술인 FastVMT를 공개했습니다.

원리는 직관적입니다. 도로 위를 달리는 스포츠카 영상을 참조 데이터로 넣고 텍스트 프롬프트를 입력하면, 자동차를 달리는 늑대나 항해하는 배, 기차, 야구선수 등으로 손쉽게 바꿀 수 있습니다.

새롭게 생성된 피사체는 원래 영상에 담긴 자동차의 궤적을 그대로 따라 움직입니다. 대상의 움직임뿐만 아니라 원본의 카메라 패닝과 줌 등 전체적인 구도 연출까지 한 번에 복제됩니다.

주목할 점은 속도입니다. FastVMT는 기존 방식 대비 평균 3.43배 빠른 생성 속도를 자랑하며, 화질이나 프레임 간 연속성도 손상되지 않는다고 연구진은 밝혔습니다.

불필요한 연산 걷어내 3.43배 빨라졌다

최근 영상 생성에 널리 쓰이는 DiT(Diffusion Transformer) 아키텍처는 구조적으로 적지 않은 연산 낭비를 품고 있었습니다.

기존 가속 기법들은 단순 연산 최적화에 머물렀지만, FastVMT 연구진은 비효율의 근본적인 원인으로 두 가지 잉여 연산을 지목했습니다.

첫 번째는 '모션 잉여성'입니다. 영상의 인접 프레임 간 움직임은 보통 미세하고 부드럽게 이어지지만, 범용 DiT는 불필요하게 화면 전체의 먼 영역까지 어텐션 가중치를 계산합니다. FastVMT는 어텐션 레이어를 국소 영역으로 제한해 무의미한 원거리 연산을 차단했습니다.

두 번째는 '그래디언트 잉여성'입니다. 확산 궤적을 따라 계산되는 그래디언트는 변화 속도가 매우 완만합니다. 매 단계마다 이를 처음부터 다시 계산하는 대신, 이전 단계의 값을 재사용하고 불필요한 연산을 건너뛰는 최적화 설계를 적용했습니다.

이 두 가지 군더더기를 덜어낸 덕분에 생성 품질을 유지하면서도 속도를 3.43배나 끌어올릴 수 있었습니다.

왜 중요한가

우리는 FastVMT가 생성형 비디오의 최대 난제인 '동작 제어' 문제를 매우 영리하게 풀어냈다고 봅니다.

영상 제작자에게 연출 의도대로 피사체를 움직이게 만드는 작업은 늘 고역이었습니다. 프롬프트를 수없이 다시 돌리거나 거대한 비용을 들여 파인튜닝을 거쳐야 했기 때문입니다. 실사 영상이나 기존 스톡 영상을 모션 뼈대로 삼고 겉모습만 갈아 끼울 수 있다면, 스토리보드 기반 연출의 진입 장벽이 획기적으로 낮아집니다.

기술적인 측면에서도 DiT 모델에 중요한 시사점을 던집니다. 무작정 연산 자원을 쏟아붓지 않더라도, 영상의 물리적 특성을 반영해 구조적 낭비만 걷어내면 충분히 강력한 효율 개선을 이뤄낼 수 있다는 점을 보여줬습니다.

다만 지금 당장 직접 써볼 수는 없습니다. 프로젝트 페이지에 깃허브 링크 형태는 마련되어 있으나 실제 코드는 아직 올라오지 않았고, 현재는 논문만 공개된 상태입니다. 오픈소스 코드가 정식 릴리스되거나 주요 상용 영상 툴에 이 방식이 도입되는 시점을 지켜볼 필요가 있습니다.