2K 이미지-비디오 생성 모델 '스위프트I2V' 공개…RTX 4090 단일 구동에 시간 202배 단축

AI를 이용해 한 장의 이미지에서 영상을 뽑아내는 기술은 빠르게 발전했지만, 해상도를 2K로 올리는 순간 현실적인 벽에 부딪힙니다. 그래픽카드의 VRAM이 순식간에 차오르고 렌더링 시간도 감당하기 힘들 만큼 길어지기 때문입니다.

지금까지의 해법은 둘 중 하나였습니다. 처음부터 끝까지 2K로 통째로 렌더링하는 엔드투엔드 방식을 쓰거나, 저해상도로 먼저 만든 뒤 비디오 업스케일러를 덧씌우는 방식입니다. 전자는 엄청난 GPU 클러스터가 필요해 일반 사용자는 엄두를 내기 어렵고, 후자는 원본 이미지의 디테일을 유지하지 못해 움직일 때 인물의 얼굴이 뭉개지거나 왜곡되는 일이 잦았습니다.

연구진은 5월 7일, 이 두 방식의 한계를 극복한 고해상도 이미지-비디오 생성 프레임워크 '스위프트I2V(SwiftI2V)'를 공개했습니다.

모션 스케치 후 분할 렌더링으로 2K 완성

스위프트I2V의 핵심은 비효율적인 연산을 똑똑하게 쪼갠 데 있습니다. 전체 생성 과정을 2단계로 나누어 처리합니다.

첫 번째 단계에서는 입력받은 원본 이미지를 바탕으로 저해상도 모션 참조 데이터를 먼저 만듭니다. 장면 안에서 피사체가 어떻게 움직이고 카메라가 어떻게 이동할지 대략적인 궤적을 밑그림처럼 그려내는 과정입니다. 이 단계에서 연산 토큰을 대폭 아낍니다.

두 번째 단계에서는 이 모션 스케치를 바탕으로 원본 고화질 이미지를 강력한 가이드 삼아 2K 영상을 덧입힙니다. 원본 이미지의 정보를 계속 참조하기 때문에 일반적인 업스케일러처럼 엉뚱한 디테일을 지어내지 않습니다.

여기에 '조건부 세그먼트 생성(Conditional Segment-wise Generation)' 기술이 결합됐습니다. 전체 영상을 한 번에 처리하지 않고 짧은 시간 단위로 쪼개어 단계별 토큰 예산을 통제합니다. 세그먼트 사이에는 양방향 문맥 상호작용을 적용해 분할 렌더링 시 발생하기 쉬운 화면 끊김이나 이질감을 없앴습니다.

RTX 4090 한 장으로 내려온 2K 비디오 워크플로

이런 설계 덕분에 하드웨어 진입 장벽이 획기적으로 낮아졌습니다.

논문에 따르면, 2K 해상도 벤치마크인 VBench-I2V 테스트에서 스위프트I2V는 기존 고비용 엔드투엔드 모델과 동등한 품질을 내면서도 전체 GPU 연산 시간을 202배 단축했습니다.

영상은 최대 81프레임의 2K 해상도로 출력할 수 있습니다. 특히 데이터센터용 H800뿐만 아니라, 24GB VRAM을 갖춘 일반 소비자용 그래픽카드 RTX 4090 단 한 장에서도 무리 없이 구동된다는 점이 돋보입니다.

품질 면에서도 기존 대안들의 약점을 잡았습니다. 일반적인 초해상화 모델은 동적인 인물 얼굴을 심하게 망가뜨리기 일쑤였고, 신스케일(Cinncale) 같은 준수한 도구도 카메라 워크를 제대로 반영하지 못하는 문제가 있었습니다. 반면 스위프트I2V는 얼굴 디테일을 온전히 유지하면서 카메라의 움직임도 자연스럽게 살려냅니다.

왜 중요한가

우리는 스위프트I2V가 AI 비디오 생성의 경쟁 축을 '단순 무식한 인프라 싸움'에서 '효율적인 엔지니어링 설계'로 돌려놓았다는 점에서 의미가 크다고 봅니다.

개인 창작자나 소규모 스튜디오 입장에서는 비싼 클라우드 GPU 인스턴스를 빌리지 않고도, 책상 위 RTX 4090 한 장으로 상업용 2K 영상 소스를 뽑아낼 수 있게 됩니다. 모션 포스터나 게임 콘셉트 아트, 숏폼 콘텐츠의 프로토타이핑 비용이 극적으로 줄어드는 셈입니다.

산업 전반으로 봐도 모든 과정을 하나의 거대한 모델로 해결하려던 관성에서 벗어나, 단계별 분할 생성과 문맥 제어로 메모리를 통제하는 실용적인 길을 제시했습니다.

다만 한계도 분명합니다. 81프레임은 초당 프레임 수에 따라 다르지만 보통 3~4초 안팎의 짧은 클립에 불과합니다. 이 분할 생성 방식을 수십 초 이상의 롱테이크 영상으로 확장하면서 시간적 일관성을 얼마나 유지할 수 있을지가 앞으로의 핵심 과제가 될 것입니다.