Netflix 提出 Go with the Flow：不改模型架构，靠噪声扭曲精准控制视频运镜

想让 AI 生成的视频听话地动起来，通常得给模型加一堆额外的控制层，甚至把整个网络重训一遍。

Netflix 旗下的 Eyeline 研发团队提出了一个叫 Go-with-the-Flow 的新方案，把这个麻烦绕了过去。他们不需要改动视频扩散模型的任何架构，也不用重新设计训练流程，只在最开始的噪声采样上动了手脚。

把光流直接揉进噪声里

传统的扩散模型生成视频时，每一帧潜在空间里塞的都是互不相干的随机高斯噪声，全靠模型自己硬去猜帧与帧之间怎么连贯。

Go-with-the-Flow 搞了一套能实时运行的噪声扭曲算法。这套算法从视频的光流场中提取运动信息，把时间维度上原本纯随机的高斯噪声，替换成带有相关性的扭曲噪声。

有意思的是，它在改动时间维度的同时，依然保留了空间维度的高斯特性。这就让生成的画面既能顺着指定的轨迹运动，又不会损失每一帧本身的像素精细度。

动镜头、移动作，一个算法全包了

因为改动全在数据预处理阶段，现有的视频扩散基座模型只需要极小的开销就能完成微调。

团队用这一套方法搞定了好几种运动控制场景。比如框选画面里的某个局部物体让它按指定路线移动，或者控制全局镜头的推拉摇移，甚至直接把一段参考视频里的动作迁移到新画面上。

根据论文公开的信息，这项研究不仅做了用户调研与实验验证，还把源代码、模型权重以及演示视频都放了出来。

为什么重要

对特效师和视频创作者来说，精准控制镜头和物体运动一直是个老大难问题。如果这个方案真能以极低算力开销嵌入现有工作流，大家就不用为了让主体转个身而抽卡几十次，局部重绘和镜头调度的门槛会明显降低。

从行业和技术路线上看，我们认为这篇论文聪明在「以巧破力」。过去一年业内做可控视频，大多在卷 ControlNet 变体或者改 Transformer 结构，算力吃得狠，基座一换还得重新适配。Netflix 团队把问题推回到了数学和数据预处理本身，证明了单靠设计潜在空间的噪声结构，就能榨出基座模型原有的控制潜力。

不过看起来它也有隐患。这套算法的高度依赖于前端光流估计的质量，如果遇到光流算不准的大遮挡、剧烈光影变化或拓扑变形，扭曲噪声很可能会带崩画面的稳定性。但无论如何，这种不改模型架构的轻量路线，给接下来的开源视频工具开发提供了一个极具性价比的新思路。