OmniTransfer 发布：给一段参考视频，就能复刻特效、动作与运镜

OmniTransfer 是一个基于开源视频模型 Wan 2.1 构建的统一视频迁移框架。你只需要给它一段参考视频和一张目标图片，它就能把参考视频里的视觉特效、人物肢体动作、运镜手法、风格或者角色 ID 完整搬到新画面上。

它能做什么

以往做视频生成和控制，想要模仿一段动作通常得先抽骨架姿态，想要复刻运镜得算相机轨迹参数，加特效还要配合精巧的提示词。OmniTransfer 最大的特点就是把这些复杂的控制链路全打包了。

在视觉特效迁移上，它支持零样本、免提示词的特效复刻。不管是烟雾、粒子还是爆炸质感，它能直接把参考视频里的特效无缝融进新图片。

在动作迁移上，它做到无需提取人体骨架姿态。输入一段复杂的人物或肢体动态，它能直接把这种流畅动作注入给静态图像，而且还支持多人物的动作同步。

在镜头控制上，它无需估计具体的运动轨迹或相机内外参。参考片段里大师级的电影运镜，可以直接镜像到一张静止的风光或场景图片上。

此外，它还能从视频里提取人物面部特征（ID）跨时间保持一致，或者提取整段视频的色调美学做风格迁移。如果想玩更复杂的，它还支持任务组合，比如同时指定一段视频做运镜、另一段做风格，以及接入 Seedance 1.0 带来更强烈的视觉冲击。

怎么做到的

把空间外观和时间动态塞进同一个模型里，很容易顾此失彼。OmniTransfer 核心靠三个模块来解题。

首先是任务感知的空间位置偏置，让模型利用自带的时空上下文能力，针对不同迁移任务自动调整关注的特征维度。

其次是参考解耦的因果学习，把参考分支和目标生成分支拆开，让迁移过程更具备因果连贯性，也大幅提高了计算效率。

最后是任务自适应的多模态对齐，拉来多模态大模型（MLLM）在语义层面做统一理解，保证跨任务甚至组合任务时模型不迷路。

目前该项目发布了 arXiv 论文和包含大量演示案例的主页，标明为纯学术与非商业研究，基于 Wan 2.1 打造。

为什么重要

我们认为 OmniTransfer 最聪明的地方，在于彻底抛弃了传统的中间表示工具。过去做视频控制就像做算术题，得一步步求导骨架、算光流、解相机矩阵，不仅繁琐还容易在中间步骤累积误差；直接用视频端到端驱动视频，才是生成模型最自然的用法。

对于做后期特效、短视频二创以及动画制作的团队来说，这种工作流一旦成熟，将大幅拉低特效制作和分镜测试的门槛。不过作为学术项目，面对光影极度复杂的真实场景时泛化表现如何，以及何时能在消费级显卡上低成本跑起来，还需要等开源社区进一步实测检验。