Google 推出 VideoPoet：不用扩散模型，用 LLM 生成 10 秒大动作视频

现在市面上的 AI 视频工具，几乎清一色都在走扩散模型路线。但经常玩 Runway Gen-2 或者 Pika 的人都知道，只要画面里的物体稍微跑快一点，或者镜头拉长，角色就容易变形、融化，动作经常碎成一片。Google 并没有继续在扩散模型里死磕，而是换了一条看似反直觉的路：直接用大语言模型来生成视频。

12 月 19 日，Google Research 团队的 Dan Kondratyuk 和 David Ross 等研究员公布了名为 VideoPoet 的大语言模型。它能直接生成长达 10 秒、包含大幅度动作且伪影极少的连贯视频，还能顺手把背景音效一起做了。

把视频拆成离散代币，塞进同一个大模型

主流视频生成模型之所以偏爱扩散架构，是因为它擅长处理连续的图像像素。但大语言模型在跨模态学习上的通用能力，早在文本和代码领域得到了验证。

Google 这次要解决的第一个技术坎，就是怎么把连续的视频画面塞给只能识别离散代币的语言模型。他们的做法是引入了两个离散化工具：用 MAGVIT V2 把视频和图像转成离散代币序列，用 SoundStream 把音频也变成代币。

有了统一的代币格式后，VideoPoet 就能采用自回归语言模型架构来统一训练。通过在输入中加入任务标记和边界标记，单个大语言模型就能看懂当前是要做文本生视频、图片转动画，还是要给视频做风格化处理。

更实际的好处在于，Google 这些年为大语言模型积累的算力调度、训练加速和扩展优化方案，VideoPoet 全都能直接继承，省去了单独为视频扩散模型搭一套基础设施的麻烦。

10 秒连贯大动作，一人承包剪辑台

以往很多模型为了画面不崩，只敢生成微风吹拂头发、人物眨眨眼这种小动作。根据 Google 的演示，VideoPoet 在大动作连贯性上表现突出，比如时代广场上跳舞的浣熊、在梵高《星空》画布里疾驰的马，生成的动作幅度都很大，而且能稳定维持 10 秒。

除了基本的文生视频和图生动画，VideoPoet 还能利用光流和深度信息进行视频风格迁移，甚至支持画面的局部擦除重绘和外扩。更少见的是它整合了音效生成能力，能先产出 2 秒左右与画面匹配的声音。

为了避免版权问题，Google 在展示中专门选用了公有领域的艺术风格和素材，比如维基共享资源里的公有艺术品。

为什么重要

我们认为，VideoPoet 最大的价值在于它挑战了视频生成领域扩散模型一家独大的固有认知。

对普通创作者来说，以往做一条 AI 短片非常折腾：先用文生图模型垫底，扔进视频工具生成几秒动态，再导入专业音频软件去配音，中间还要换不同的模型做风格调整。如果 VideoPoet 这种单模型多任务的架构能够产品化，创作者在一个输入框里就能完成动态、修补和声音的全部串联，做视频的门槛会被进一步打下来。不过遗憾的是，Google 目前只放出了论文和演示，读者现在还无法直接上手体验。

对行业而言，如果自回归大语言模型被证明能搞定高连贯性的视频和大动作，这就意味着视频生成可以直接搭上大语言模型成熟的 Scaling Law 便车。以后算力规模只要继续堆，视频理解和生成的上限就会同步拉高，这会直接给主打扩散模型的 Runway 等创业团队带来架构路线上的压力。

看起来 Google 的做法非常聪明，用统一的离散代币把画面和音频塞进同一个大模型，消除了不同组件之间拼装带来的损耗。但隐患也同样存在：离散代币化过程不可避免会牺牲掉部分画面细节和细腻度，同时自回归生成在处理高分辨率长序列时的计算开销极其恐怖。在实际落地成可用产品之前，Google 还需要证明它在推理成本上真的能拼过轻量化的扩散架构。