TTT 架构杀入视频生成：结合 Diffusion 生成 1 分钟连贯动画

大部分 AI 视频工具生成五秒钟的片段还算像样，一旦时间拉长到一分钟，画面就会彻底失控。角色走着走着变了样，背景里的房间自己换了陈设，多镜头叙事更是成了奢望。

学者 Xiaolong Wang（王小龙）及其合作团队公布了一项新研究，他们把测试时训练（Test-Time Training，简称 TTT）机制引入到视频 Diffusion Transformer（DiT）中，成功生成了连贯的一分钟长动画视频。

把记忆单元做成一个小神经网络

现在的视频生成模型普遍依赖 Transformer，但注意力机制在处理极长上下文时计算开销巨大。如果改用滑动窗口局部注意力，或者像 Mamba、Gated DeltaNet 这样的状态空间模型，计算量虽然降下来了，可隐藏状态的表达能力又不够强，一遇到复杂的多场景故事就会崩盘。

团队尝试的解法是 TTT。说白了，它是一个具备显式记忆机制的循环结构，但和普通 RNN 不同，TTT 把隐藏状态本身建模成了一个机器学习模型，在推理过程中通过梯度下降来更新记忆。

研究人员把 TTT 层插入到一个预训练的 5B 基础模型中。测试时，模型根据一长串文本分镜脚本，生成了一段完整的《猫和老鼠》动画。剧情包含了杰瑞在厨房吃奶酪、汤姆恶作剧抢走、杰瑞负气离家出走、汤姆一路追到旧金山的小巷，最后递上奶酪和解归家的全过程。

在每种方法 100 个视频的人工评估中，TTT 方案的人类偏好 Elo 分数比 Mamba 2、Gated DeltaNet 和滑动窗口注意力高出 34 分。相比之下，局部注意力连汤姆的毛色、杰瑞的鼠洞都对不齐，甚至会把汤姆的身体扯变形；滑动窗口注意力会在不同镜头里篡改厨房背景，还会多变出一只正在偷派的杰瑞。

概念验证很惊艳，但毛刺依然肉眼可见

不过，这项研究目前还停留在概念验证阶段，视频里的瑕疵其实相当明显。

团队自己坦承，受限于底模只有 5B 的能力以及系统实现效率，视频在细节上经常穿帮。比如同一个场景在每三秒的小切片之间，箱子会莫名发生形变；杰瑞掉落的奶酪会在半空中悬停，而不是自然落地；当汤姆转身时，厨房的光照甚至会突然暴变强光。

由于算力资源限制，团队目前只验证了一分钟的长度，但他们表示这套架构完全可以扩展到更长的时间跨度以及更复杂的叙事场景中。

为什么重要

对于做内容创作的人来说，现在的视频模型基本只能当「动图生成器」用，想要讲一个带转场、有起承转合的故事，得自己切碎分镜、反复抽卡、再进剪辑软件缝合。如果 TTT 路线被证明可行，意味着以后的视频模型可能真的能听懂一整篇剧本，把角色性格和多场景关系一口气跑完。

但这事现在还不值得普通用户马上去找试玩。底模只有 50 亿参数，画面里的物理穿模和闪烁还很重，更像是一篇漂亮的系统架构论文，而不是一个开箱即用的工业级工具。

我们认为这项研究最聪明的地方，是它没有硬卷 Transformer 的超长注意力算力，也没有妥协于 Mamba 贫弱的表征能力，而是把「记忆」本身变成了一个在生成过程中动态学习的网络。如果主流视频大厂能把这个架构搬进几十甚至上百亿参数的模型里，视频生成领域很可能会迎来一次关键的架构洗牌。