VideoJAM 视频生成框架：联合建模外观与运动，破解 AI 物理动态失真

现在的 AI 视频虽然画面越来越精致，但只要镜头里的人跑动起来、物体发生碰撞，画面往往就迅速露怯：肢体诡异扭曲，重力和惯性完全失灵。

根本原因在于，以往的视频扩散模型几乎只盯着像素重建在做功课。模型拼尽全力让每一帧看起来高清、真实，结果却牺牲了跨帧之间的物理规律与运动连贯性。

来自 Meta 等机构的研究人员联合发表了一篇论文，提出了一个名为 VideoJAM 的视频生成新框架，试图从底层解决这一顽疾。

左右脑同时开工：外观与运动联合建模

VideoJAM 的核心思路其实很直接：不能只让模型学「长什么样」，还要强迫它学「怎么动」。

整个框架由两个相互配合的单元组成。在训练阶段，团队没有只让模型去预测下一帧的像素，而是通过线性投影层将视频帧和其运动表征共同加噪，打包成一个联合潜表征。

模型在处理扩散去噪时，需要从这个联合表征中同时预测出生成的像素和对应的运动轨迹。说白了，就是把运动规律直接写进模型的直觉里，而不是生成完画面再去缝补动态。

到了推理生成环节，VideoJAM 引入了一套叫做 Inner-Guidance 的内部引导机制。它不需要外界额外喂参考数据，而是直接把模型自己正在逐步演化的运动预测当作动态引导信号，拉着画面生成往符合物理连贯性的方向走。

几乎不需要改数据，还能叫板商业巨头

这个方案最聪明的地方在于通用性。VideoJAM 不需要重新洗数据，也不需要无休止地堆参数把模型做得更大，只需对现有视频扩散架构做极小的改动就能套用。

研究团队基于开源的 DiT-30B 基座微调出了 VideoJAM-30B 模型。在一套专门考验复杂物理与剧烈动作的测试基准上，它的运动连贯性表现直接拉满。

不仅相比原来的 DiT-30B 有了明显提升，在对比测评中，其动态连贯性甚至超越了 Sora、Kling 以及 Runway Gen-3 等目前第一梯队的商业闭源模型，同时画面的视觉质量也没有打折。

论文已被第 42 届国际机器学习大会（ICML 2025）接收，相关技术细节和对比样本已经公开。

为什么重要

对视频创作者和游戏、特效行业来说，AI 视频最大的痛点从来不是画质不够清晰，而是动态不可控。哪怕静止画面再像电影，一个动作崩坏镜头就彻底废掉。VideoJAM 证明了无需海量额外算力，只要调整学习目标，就能让模型自己参透物理规律。

对整个开源模型生态而言，这更是个及时的武器。中小团队和独立开发者不可能像大厂那样烧几亿美元去堆参数赌涌现。VideoJAM 的即插即用特性意味着开源社区可以低成本给现有的开源底座打上「物理补丁」，缩小与顶级商业模型的动态差距。

不过目前它依然停留在学术展示和基准测试层面，在长视频生成中的动作一致性以及在极端复杂场景下的泛化能力，还有待更多实战检验。但至少它指明了一条路：想让 AI 懂得真实世界，光教它画画不行，还得逼它学会物理。