TTT 架構殺入影片生成：結合 Diffusion 生成 1 分鐘連貫動畫

大部分 AI 影片工具生成五秒鐘的片段還算像樣，一旦時間拉長到一分鐘，畫面就會徹底失控。角色走著走著變了樣，背景裡的房間自己換了陳設，多鏡頭敘事更是成了奢望。

學者 Xiaolong Wang（王小龍）及其合作團隊公佈了一項新研究，他們把測試時訓練（Test-Time Training，簡稱 TTT）機制引入到影片 Diffusion Transformer（DiT）中，成功生成了連貫的一分鐘長動畫影片。

把記憶單元做成一個小神經網路

現在的影片生成模型普遍依賴 Transformer，但注意力機制在處理極長上下文時計算開銷巨大。如果改用滑動視窗區域性注意力，或者像 Mamba、Gated DeltaNet 這樣的狀態空間模型，計算量雖然降下來了，可隱藏狀態的表達能力又不夠強，一遇到複雜的多場景故事就會崩盤。

團隊嘗試的解法是 TTT。說白了，它是一個具備顯式記憶機制的迴圈結構，但和普通 RNN 不同，TTT 把隱藏狀態本身建模成了一個機器學習模型，在推理過程中通過梯度下降來更新記憶。

研究人員把 TTT 層插入到一個預訓練的 5B 基礎模型中。測試時，模型根據一長串文本分鏡指令碼，生成了一段完整的《貓和老鼠》動畫。劇情包含了傑瑞在廚房吃乳酪、湯姆惡作劇搶走、傑瑞負氣離家出走、湯姆一路追到舊金山的小巷，最後遞上乳酪和解歸家的全過程。

在每種方法 100 個影片的人工評估中，TTT 方案的人類偏好 Elo 分數比 Mamba 2、Gated DeltaNet 和滑動視窗注意力高出 34 分。相比之下，區域性注意力連湯姆的毛色、傑瑞的鼠洞都對不齊，甚至會把湯姆的身體扯變形；滑動視窗注意力會在不同鏡頭裡篡改廚房背景，還會多變出一隻正在偷派的傑瑞。

概念驗證很驚豔，但毛刺依然肉眼可見

不過，這項研究目前還停留在概念驗證階段，影片裡的瑕疵其實相當明顯。

團隊自己坦承，受限於底模只有 5B 的能力以及系統實現效率，影片在細節上經常穿幫。比如同一個場景在每三秒的小切片之間，箱子會莫名發生形變；傑瑞掉落的乳酪會在半空中懸停，而不是自然落地；當湯姆轉身時，廚房的光照甚至會突然暴變強光。

由於算力資源限制，團隊目前只驗證了一分鐘的長度，但他們表示這套架構完全可以擴充套件到更長的時間跨度以及更復雜的敘事場景中。

為什麼重要

對於做內容創作的人來說，現在的影片模型基本只能當「動圖生成器」用，想要講一個帶轉場、有起承轉合的故事，得自己切碎分鏡、反覆抽卡、再進剪輯軟體縫合。如果 TTT 路線被證明可行，意味著以後的影片模型可能真的能聽懂一整篇劇本，把角色性格和多場景關係一口氣跑完。

但這事現在還不值得普通使用者馬上去找試玩。底模只有 50 億引數，畫面裡的物理穿模和閃爍還很重，更像是一篇漂亮的系統架構論文，而不是一個開箱即用的工業級工具。

我們認為這項研究最聰明的地方，是它沒有硬卷 Transformer 的超長注意力算力，也沒有妥協於 Mamba 貧弱的表徵能力，而是把「記憶」本身變成了一個在生成過程中動態學習的網路。如果主流影片大廠能把這個架構搬進幾十甚至上百億引數的模型裡，影片生成領域很可能會迎來一次關鍵的架構洗牌。