OmniTransfer 釋出：給一段參考影片，就能復刻特效、動作與運鏡

OmniTransfer 是一個基於開源影片模型 Wan 2.1 構建的統一影片遷移框架。你只需要給它一段參考影片和一張目標圖片，它就能把參考影片裡的視覺特效、人物肢體動作、運鏡手法、風格或者角色 ID 完整搬到新畫面上。

它能做什麼

以往做影片生成和控制，想要模仿一段動作通常得先抽骨架姿態，想要復刻運鏡得算相機軌跡引數，加特效還要配合精巧的提示詞。OmniTransfer 最大的特點就是把這些複雜的控制鏈路全打包了。

在視覺特效遷移上，它支援零樣本、擴音示詞的特效復刻。不管是煙霧、粒子還是爆炸質感，它能直接把參考影片裡的特效無縫融進新圖片。

在動作遷移上，它做到無需提取人體骨架姿態。輸入一段複雜的人物或肢體動態，它能直接把這種流暢動作注入給靜態影像，而且還支援多人物的動作同步。

在鏡頭控制上，它無需估計具體的運動軌跡或相機內外參。參考片段裡大師級的電影運鏡，可以直接映象到一張靜止的風光或場景圖片上。

此外，它還能從影片裡提取人物面部特徵（ID）跨時間保持一致，或者提取整段影片的色調美學做風格遷移。如果想玩更復雜的，它還支援任務組合，比如同時指定一段影片做運鏡、另一段做風格，以及接入 Seedance 1.0 帶來更強烈的視覺衝擊。

怎麼做到的

把空間外觀和時間動態塞進同一個模型裡，很容易顧此失彼。OmniTransfer 核心靠三個模組來解題。

首先是任務感知的空間位置偏置，讓模型利用自帶的時空上下文能力，針對不同遷移任務自動調整關注的特徵維度。

其次是參考解耦的因果學習，把參考分支和目標生成分支拆開，讓遷移過程更具備因果連貫性，也大幅提高了計算效率。

最後是任務自適應的多模態對齊，拉來多模態大模型（MLLM）在語義層面做統一理解，保證跨任務甚至組合任務時模型不迷路。

目前該專案釋出了 arXiv 論文和包含大量演示案例的主頁，標明為純學術與非商業研究，基於 Wan 2.1 打造。

為什麼重要

我們認為 OmniTransfer 最聰明的地方，在於徹底拋棄了傳統的中間表示工具。過去做影片控制就像做算術題，得一步步求導骨架、算光流、解相機矩陣，不僅繁瑣還容易在中間步驟累積誤差；直接用影片端到端驅動影片，才是生成模型最自然的用法。

對於做後期特效、短影片二創以及動畫製作的團隊來說，這種工作流一旦成熟，將大幅拉低特效製作和分鏡測試的門檻。不過作為學術專案，面對光影極度複雜的真實場景時泛化表現如何，以及何時能在消費級顯示卡上低成本跑起來，還需要等開源社群進一步實測檢驗。