구글, LLM 기반 비디오 생성 모델 ‘비디오포엣’ 공개…디퓨전 없이 10초 연속 영상 구현

기존 생성형 AI로 비디오를 만들어 본 사람이라면 누구나 겪는 골칫거리가 있습니다. 화면 속 피사체가 조금만 빠르게 움직이거나 카메라 앵글이 길어지면 형태가 흐물거리며 무너지는 현상입니다. 현재 런웨이 Gen-2를 비롯한 대다수 영상 생성 AI는 확산 모델을 기반으로 삼고 있지만, 구글 리서치는 전혀 다른 길을 택했습니다. 대규모 언어 모델(LLM)에 비디오 생성을 맡긴 것입니다.

구글 리서치의 댄 콘드라추크와 데이비드 로스 등 연구진은 12월 19일, 새로운 영상 생성 LLM인 '비디오포엣(VideoPoet)'을 공개했습니다. 이 모델은 피사체의 큰 움직임도 왜곡 없이 자연스럽게 이어가며 최대 10초 길이의 일관된 영상을 생성해냅니다.

비디오와 오디오를 토큰으로 바꿔 LLM에 입력

현재 업계 표준으로 자리 잡은 영상 모델은 대부분 픽셀 노이즈를 다루는 확산 모델입니다. 하지만 구글은 언어, 코드, 음성 등 다양한 영역에서 이미 성능이 입증된 LLM의 범용성과 인프라 확장성에 주목했습니다.

구글은 연속적인 영상과 음성을 LLM이 이해할 수 있도록 이산 토큰으로 변환하는 방식을 도입했습니다. 영상과 이미지 압축에는 MAGVIT V2 토크나이저를 쓰고, 오디오에는 사운드스트림(SoundStream)을 활용했습니다. 여기에 특정 작업 지시용 토큰과 경계 토큰을 부여해 모델이 텍스트처럼 처리하도록 만들었습니다.

이 덕분에 구글이 그동안 텍스트 기반 LLM을 위해 구축해 둔 대규모 훈련 인프라와 최적화 기술을 영상 모델 훈련에도 그대로 재사용할 수 있게 되었습니다.

10초 대형 동작과 사운드까지 모델 하나로 처리

비디오포엣은 그동안 기존 모델들이 피하려고 했던 큰 동작 표현에서 두각을 나타냅니다. 타임스퀘어에서 춤추는 라쿤이나 반 고흐의 '별이 빛나는 밤' 스타일 속을 달리는 말처럼, 역동적인 움직임이 들어간 10초 분량의 클립을 안정적으로 생성합니다.

또한 프롬프트 기반 텍스트-투-비디오는 물론, 정지 이미지 애니메이션화, 옵티컬 플로우와 깊이 정보를 활용한 스타일 변환, 화면 인페인팅 및 아웃페인팅, 영상에 어울리는 오디오 생성까지 별도의 개별 모델 없이 단일 LLM 안에서 한 번에 수행합니다.

왜 중요한가

우리는 비디오포엣이 영상 생성 기술의 표준처럼 여겨지던 확산 모델 중심의 판도에 중요한 균열을 냈다고 봅니다.

창작자 입장에서 가장 매력적인 부분은 작업의 통합입니다. 지금까지는 이미지를 만들고, 다른 툴로 움직임을 주고, 또 다른 프로그램으로 효과음을 입히는 번거로운 과정을 거쳐야 했습니다. 비디오포엣처럼 단일 모델이 영상과 소리, 편집을 모두 맡아준다면 작업 파이프라인이 획기적으로 단순해집니다. 다만 현재는 논문과 데모 사이트만 공개된 연구 단계라 당장 일반 사용자가 써볼 수 있는 도구는 아닙니다.

업계 차원에서는 LLM의 막강한 스케일링 법칙이 영상 분야에도 본격적으로 적용될 수 있음을 시사합니다. 언어 모델의 연산 효율과 훈련 노하우를 그대로 흡수할 수 있기 때문에, 확산 모델에 집중해 온 스타트업들에게는 거대한 기술적 도전 과제가 될 것으로 보입니다.

구글의 이러한 시도는 영리하지만 명확한 숙제도 안고 있습니다. 비디오를 이산 토큰으로 쪼개는 과정에서 픽셀 단위의 미세한 질감이 일부 손실될 수 있으며, 긴 시퀀스의 토큰을 하나씩 예측하는 자기회귀 방식은 추론 비용이 매우 비쌉니다. 연구실을 넘어 실제 서비스 환경에서 확산 모델 대비 경제성을 증명하는 것이 상용화의 핵심 열쇠가 될 것입니다.