Warp-as-History：仅靠单个视频微调，就能精准控制 AI 运镜轨迹

想让 AI 生成的视频严格按照导演意图运镜，一直是个吃力不讨好的技术活。过去团队要么给大模型挂上一堆臃肿的相机编码器和控制插件，要么就得耗费海量标注数据重新训练。

来自上海交通大学、上海人工智能实验室和上海市创新策源研究院的研究团队换了个思路，提出了名为 Warp-as-History 的新方法。它最大的亮点在于，甚至不需要改动原本的视频底模架构，仅用一个带相机标注的视频进行轻量 LoRA 微调，就能在完全陌生的场景里精准听从运镜指挥。

把运镜伪装成「前情提要」

以往要控制视频生成视角的移动，通常得在模型旁边单独搭一条控制分支。但 Warp-as-History 发现，主流视频生成模型本身就具备「根据上一段画面继续往下拍」的上下文能力。

研究团队因此做了一个极其讨巧的设计：既然模型擅长顺着历史画面生成，那就直接把目标相机轨迹引起的视角形变，打包伪装成模型上一帧的「视觉历史」。说白了，就是骗模型以为当前的运镜位移只是前一秒刚刚发生过的记忆。

运镜转到全新角度时，镜头盲区必然会出现画面空白。Warp-as-History 的处理方式很干脆，直接把没有真实画面观测的无效 token 丢弃掉，剩下的空白完全交给预训练模型原有的通用常识去自然补全。

为什么单靠一个视频就够了

更有意思的是，在完全不微调的冻结基座模型上，把形变当作历史输入进去，模型就已经表现出了某种本能般的零样本跟随能力。

既然基座已有雏形，后面的训练就变得极轻。团队只需要用一段带有精准相机轨迹标注的视频，做一次离线的 LoRA 参数微调。

这次微调的目的不是让模型学习新的画质或运镜风格，而是帮它校准分寸：什么时候该严格跟随已知画面的形变证据，什么时候该放手让生成器自己脑补新出现的动态和背景。测试显示，这个轻量 LoRA 能够无缝泛化到从未见过的全新场景和复杂轨迹上，甚至能结合第一帧图像和键盘输入，做到类似 Genie 3 的实时交互操控。

为什么重要

我们认为这项研究最聪明的地方，在于它没有跟模型的原生结构对着干，而是顺水推舟利用了基座模型原本就擅长的历史上下文通路。

对于独立开发者和视频创作者来说，这意味着运镜控制的算力门槛被大幅拉低。以后想让某个开源视频模型听话运镜，大概率不再需要等待官方重训复杂的控制模块，自己找一条标定好的短片挂个轻量 LoRA，就能调教出符合预期的运镜工具。

在行业层面，它为交互式世界模型提供了一条极其高效的轻量化路径。类似 HappyOyster 或可交互环境探索的研发成本，可能因此出现明显下降。

不过这项技术也有天然边界。由于它本质上依赖单帧向未来视角的几何拉伸，在面对极其剧烈的超大视角转弯、或者前景主体大面积遮挡时，生成画面的长效一致性依然很考验底层模型本身的脑补功底。