런웨이, 동영상 변환 AI 모델 'Gen-1' 공개: 실사 영상을 점토 애니메이션으로

텍스트로 이미지를 만드는 스테이블 디퓨전 열풍이 채 가시기도 전에, 공동 개발사 중 하나인 스타트업 런웨이가 다음 전선인 비디오 영역으로 진입했습니다.

런웨이가 공개한 차세대 생성형 AI 모델 'Gen-1'은 기존 영상을 새로운 비주얼로 탈바꿈시키는 비디오 투 비디오(video-to-video) 방식을 전면에 내세웠습니다. 텍스트 프롬프트나 참고용 정지 이미지를 평범한 실사 영상과 결합해, 완전히 다른 시각적 스타일의 영상으로 변환해 냅니다.

공개된 데모에 따르면 이는 단순한 색보정 필터 수준이 아닙니다. 길거리를 걸어가는 남성의 일상 영상이 정교한 스톱모션 클레이메이션으로 변하고, 눈길을 걷는 사람의 장면이 인류 최초의 달 착륙 기록 필름처럼 바뀝니다.

제작 현장을 겨냥한 5가지 변환 모드

Gen-1은 실제 영상 제작 현장의 워크플로를 겨냥해 총 5가지 세부 모드를 제공합니다.

첫 번째는 정지 이미지나 텍스트의 화풍을 영상 전체에 덧입히는 '스타일화(Stylization)'입니다.

두 번째인 '스토리보드(Storyboard)'는 거친 프로토타입을 완성도 높은 애니메이션으로 바꿉니다. 탁자 위에 아무렇게나 쌓아 둔 책들이 밤하늘을 배경으로 한 고층 빌딩 숲으로 변신하는 식입니다.

세 번째 '마스크(Mask)'는 움직이는 특정 피사체만 따로 분리해 원하는 외형으로 바꿀 수 있게 해줍니다. 네 번째 '렌더(Render)'는 텍스처가 없는 3D 모델링 영상을 조명과 질감이 완벽히 들어간 완성형 씬으로 렌더링하며, 다섯 번째 '커스터마이징(Customization)'을 통해 세부 제어가 가능합니다.

런웨이의 CEO 겸 공동 창업자인 크리스토발 발렌주엘라는 MIT 테크놀로지 리뷰와의 인터뷰에서 영화 제작자와 VFX 편집자들의 작업 방식을 수년간 관찰한 통찰이 이번 모델에 담겼다고 설명했습니다. 실제로 런웨이의 초기 기술은 지난해 화제작인 영화 '에브리씽 에브리웨어 올 앳 원스'의 후반 작업에도 쓰인 바 있습니다. 현재는 얼리 리서치 액세스 신청을 받는 중이며, 수주 내로 접근 권한을 넓힐 계획입니다.

왜 중요한가

우리는 런웨이가 매우 영리하고 실용적인 수를 뒀다고 평가합니다.

텍스트만으로 처음부터 영상을 만드는 방식은 움직임 제어가 극도로 어렵고 피사체가 뭉개지는 문제가 심각합니다. 반면 Gen-1은 원본 실사나 3D 모델을 뼈대로 삼아 움직임과 구도를 고정한 뒤, 스타일과 렌더링만 AI에 맡겼습니다. 덕분에 제어력 문제를 단숨에 우회했습니다.

이 방식은 독립 창작자와 소규모 스튜디오의 제작 환경을 크게 바꿀 수 있습니다. 스마트폰으로 대충 연기한 클립이나 책상 위의 장난감만으로도 고품질 애니메이션과 콘셉트 영상을 빠르게 뽑아낼 수 있기 때문입니다.

다만 공개된 데모 영상의 화려함과 실제 현장 도입 사이에는 여전히 간극이 있을 수 있습니다. 프레임 간 깜빡임이나 피사체 테두리의 떨림이 긴 영상에서도 충분히 안정적으로 제어되는지는 향후 공개 테스트를 통해 직접 확인해 볼 필요가 있습니다.