Google 推出 VideoPoet：不用擴散模型，用 LLM 生成 10 秒大動作影片

現在市面上的 AI 影片工具，幾乎清一色都在走擴散模型路線。但經常玩 Runway Gen-2 或者 Pika 的人都知道，只要畫面裡的物體稍微跑快一點，或者鏡頭拉長，角色就容易變形、融化，動作經常碎成一片。Google 並沒有繼續在擴散模型裡死磕，而是換了一條看似反直覺的路：直接用大語言模型來生成影片。

12 月 19 日，Google Research 團隊的 Dan Kondratyuk 和 David Ross 等研究員公佈了名為 VideoPoet 的大語言模型。它能直接生成長達 10 秒、包含大幅度動作且偽影極少的連貫影片，還能順手把背景音效一起做了。

把影片拆成離散代幣，塞進同一個大模型

主流影片生成模型之所以偏愛擴散架構，是因為它擅長處理連續的影像畫素。但大語言模型在跨模態學習上的通用能力，早在文本和程式碼領域得到了驗證。

Google 這次要解決的第一個技術坎，就是怎麼把連續的影片畫面塞給只能識別離散代幣的語言模型。他們的做法是引入了兩個離散化工具：用 MAGVIT V2 把影片和影像轉成離散代幣序列，用 SoundStream 把音訊也變成代幣。

有了統一的代幣格式後，VideoPoet 就能採用自迴歸語言模型架構來統一訓練。通過在輸入中加入任務標記和邊界標記，單個大語言模型就能看懂當前是要做文本生影片、圖片轉動畫，還是要給影片做風格化處理。

更實際的好處在於，Google 這些年為大語言模型積累的算力排程、訓練加速和擴充套件最佳化方案，VideoPoet 全都能直接繼承，省去了單獨為影片擴散模型搭一套基礎設施的麻煩。

10 秒連貫大動作，一人承包剪輯臺

以往很多模型為了畫面不崩，只敢生成微風吹拂頭髮、人物眨眨眼這種小動作。根據 Google 的演示，VideoPoet 在大動作連貫性上表現突出，比如時代廣場上跳舞的浣熊、在梵高《星空》畫布裡疾馳的馬，生成的動作幅度都很大，而且能穩定維持 10 秒。

除了基本的文生影片和圖生動畫，VideoPoet 還能利用光流和深度資訊進行影片風格遷移，甚至支援畫面的區域性擦除重繪和外擴。更少見的是它整合了音效生成能力，能先產出 2 秒左右與畫面匹配的聲音。

為了避免版權問題，Google 在展示中專門選用了公有領域的藝術風格和素材，比如維基共享資源裡的公有藝術品。

為什麼重要

我們認為，VideoPoet 最大的價值在於它挑戰了影片生成領域擴散模型一家獨大的固有認知。

對普通創作者來說，以往做一條 AI 短片非常折騰：先用文生圖模型墊底，扔進影片工具生成幾秒動態，再匯入專業音訊軟體去配音，中間還要換不同的模型做風格調整。如果 VideoPoet 這種單模型多工的架構能夠產品化，創作者在一個輸入框裡就能完成動態、修補和聲音的全部串聯，做影片的門檻會被進一步打下來。不過遺憾的是，Google 目前只放出了論文和演示，讀者現在還無法直接上手體驗。

對行業而言，如果自迴歸大語言模型被證明能搞定高連貫性的影片和大動作，這就意味著影片生成可以直接搭上大語言模型成熟的 Scaling Law 便車。以後算力規模只要繼續堆，影片理解和生成的上限就會同步拉高，這會直接給主打擴散模型的 Runway 等創業團隊帶來架構路線上的壓力。

看起來 Google 的做法非常聰明，用統一的離散代幣把畫面和音訊塞進同一個大模型，消除了不同元件之間拼裝帶來的損耗。但隱患也同樣存在：離散代幣化過程不可避免會犧牲掉部分畫面細節和細膩度，同時自迴歸生成在處理高解析度長序列時的計算開銷極其恐怖。在實際落地成可用產品之前，Google 還需要證明它在推理成本上真的能拼過輕量化的擴散架構。