StableVideo 오픈소스 공개: 확산 모델 기반 텍스트 주도 일관적 비디오 편집

StableVideo는 텍스트 프롬프트를 통해 기존 비디오의 스타일이나 특정 요소를 일관되게 수정할 수 있는 오픈소스 도구입니다. ICCV 2023 채택 논문을 바탕으로 공개되었으며, 확산 모델 기반 비디오 편집에서 흔히 발생하는 프레임 간 깜빡임 현상을 잡는 데 초점을 맞췄습니다.

어떻게 작동하나

이 프로젝트는 Text2LIVE와 ControlNet의 설계를 결합했습니다. 확산 모델을 활용해 원하는 편집 레이어를 생성하는 동시에 프레임 간 대응 관계를 추적하여 수정 사항이 전체 영상 흐름에 매끄럽게 이어지도록 유도합니다.

실행 문턱을 낮추기 위해 CPU 오프로드와 xFormers 최적화를 적용했습니다. 그 덕분에 VRAM 소모량을 약 14GB 수준으로 낮춰, RTX 3090이나 4090 같은 단일 소비자용 GPU에서도 로컬 구동이 가능합니다. 전체 코드와 추론 스크립트는 GitHub에 오픈소스로 공개되어 있습니다.

왜 중요한가

거대 클라우드 인프라 없이 일반 데스크톱 환경에서 프레임 일관성을 갖춘 비디오 편집을 직접 돌려볼 수 있다는 점에서 유용합니다. 개별 프레임을 단순히 반복 생성할 때 생기는 화면 떨림을 효과적으로 줄여줍니다.

확산 모델 특성상 처리 속도가 다소 느리고 복잡한 동적 장면에서는 형태 왜곡이 나타날 수 있습니다. 하지만 로컬 기반 비디오 스타일 변환을 연구하거나 독자적인 파이프라인을 구축하려는 창작자에게는 훌륭한 오픈소스 도구입니다.