FastVMT 视频运动迁移：把赛车动作套给奔跑的狼，生成加速 3.4 倍

想用 AI 生成一段精准运镜的动态视频，往往得经历反复抽卡的折磨。你明明想要一段如同动作电影般凌厉的追车轨迹，生成的汽车却总在画面里飘忽不定，背景甚至还会莫名扭曲。

研究团队公布了一项名为 FastVMT 的视频运动迁移技术，试图把运镜和动作的控制权彻底交回创作者手里。

这项技术做的事情很简单：拿一段现有视频作为「动作骨架」，比如一辆在公路上飞驰的赛车。你只需要输入几句文本提示词，就能把赛车替换成奔跑的狼、行驶的船、火车甚至棒球运动员。

不论你换成什么新主体、新背景，它都会严格沿着参考视频里的轨迹行动。不仅物体的移动路线一致，原视频里的镜头推拉和平移也会完整保留在新画面中。

更让人惊喜的是，FastVMT 声称其生成速度比现有主流方法快了 3.43 倍，而且视频的视觉质感与时间连贯性几乎毫无损失。

砍掉两处算力冗余，生成提速 3.4 倍

在此之前，视频运动迁移之所以慢，根源在于主流的 Diffusion Transformer（DiT）架构藏着不少计算浪费。

以往的加速手段往往只在表面做算力优化，但 FastVMT 的研究团队指出了两个深层的结构性冗余。

首先是「运动冗余」。视频相邻两帧之间的物体位移通常很微小且平滑，但通用的 DiT 架构每次计算注意力机制时，都会去扫视整个画面的远距离区域。FastVMT 给注意力层套上了局部邻域掩码，直接省去了不必要的远距离交互计算。

其次是「梯度冗余」。在扩散模型的生成轨迹上，梯度的变化其实相当缓慢。如果每一步都死板地从头重算一遍梯度，纯粹是算力浪费。FastVMT 设计了一套调度方案，直接复用前几步算好的梯度，跳过无谓的重复计算。

两刀切下去，模型甩掉了沉重的计算包袱，换来了平均 3.43 倍的速度跃升。

为什么重要

我们认为，FastVMT 最聪明的地方在于，它为视频生成的可控性找到了一条轻巧的实用路线。

对视频创作者和动画制作者来说，如何让角色严格按照既定分镜行动，一直是个巨大的痛点。过去为了稳定运动轨迹，要么需要反复抽卡碰运气，要么得花大代价对模型进行专项微调。如果能拿现成实拍当作动作参考直接「换皮」，分镜控制的门槛将被大大拉低。

在技术思路上，这也给整个 DiT 生态提了个醒：想要模型跑得快，不一定非得堆硬件或暴力剪枝。顺应物理世界的规律，砍掉那些反常识的冗余计算，往往能带来更优雅的性能红利。

不过，现在想亲自上手可能还得等一等。虽然研究团队建立了项目页面，但顶部的 GitHub 仓库目前还没有关联实际代码，暂时只公开了论文。对开发者和创作者而言，不妨先保持关注，看看这套去冗余机制未来是否会被主流视频工具直接吸纳。