MMPhysVideo 框架亮相：让 AI 视频生成学会几何与物理规律

让 AI 生成一段杯子掉在地上摔碎的画面，现在的视频模型很可能会让杯子在半空融化，或者像果冻一样在地上弹跳。画面虽然越来越逼真，但只要涉及物理交互，AI 经常会露出马脚。

研究团队提出了一个名为 MMPhysVideo 的全新视频生成框架，专门解决视频扩散模型靠单纯预测像素所带来的形变与穿帮问题。更关键的是，团队计划把代码和数据集完全开源。

不只看像素，把几何与轨迹画进同一张图

现在的视频模型之所以频频出现物理 bug，根源在于它们本质上是在做像素重构。模型只知道这个位置的颜色该怎么变，却根本不知道画面里的物体到底有多重、几何结构是什么、运动受到什么阻碍。

MMPhysVideo 的核心思路是多模态联合建模。研究团队没有让模型凭空去猜，而是把语义、三维几何结构以及物体的时空轨迹等感知线索，统一转换成了伪 RGB 格式。这样一来，扩散模型就能直接像理解画面一样，理解场景背后的复杂物理动力学。

为了避免视觉画面和物理信号互相干扰，团队设计了一个双向控制教师架构。它用并行分支把 RGB 图像和感知处理彻底解耦，再通过两个零初始化的控制链路，逐步学习像素级的一致性。

为了不拖慢推理速度，他们还用表征对齐技术，把教师模型掌握的物理先验蒸馏进了一个单流学生模型。这意味着在生成视频时，模型不需要背负额外的推理计算负担。此外，配套的 MMPhysPipe 数据管线利用视觉语言模型定位物理主体，能自动化提取丰富的多模态物理数据。

为什么重要

对视频创作者和游戏开发者来说，AI 生成最大的门槛从来不是画质不够好，而是物体的不可控形变。如果杯子摔在地上能自然碎裂、车辆转弯不会随意拉长，工业级场景才真正敢用 AI 生成内容。而且项目承诺完全开源，未来各类商业视频工具大概率会迅速吸纳这套思路。

对整个行业而言，过去大家总试图通过堆算力和参数，让大模型自己“悟”出物理世界运行规则，但事实证明纯像素学习的效率极低。MMPhysVideo 证明了显式引入几何与轨迹等结构化信息，再借助知识蒸馏压缩到轻量模型里，是性价比高得多的路线。

我们认为，这项研究最聪明的地方在于统一的伪 RGB 表征和蒸馏设计，既让模型获得了物理常识，又没有增加推理开销。不过，现实世界的物理现象极其复杂，流体碰撞、软体形变和细微材质反应到底能还原到什么程度，还有待开源后接受社区的实际检验。