Netflix 提出 Go with the Flow：不改模型架構，靠噪聲扭曲精準控制影片運鏡

想讓 AI 生成的影片聽話地動起來，通常得給模型加一堆額外的控制層，甚至把整個網路重訓一遍。

Netflix 旗下的 Eyeline 研發團隊提出了一個叫 Go-with-the-Flow 的新方案，把這個麻煩繞了過去。他們不需要改動影片擴散模型的任何架構，也不用重新設計訓練流程，只在最開始的噪聲取樣上動了手腳。

把光流直接揉進噪聲裡

傳統的擴散模型生成影片時，每一幀潛在空間裡塞的都是互不相干的隨機高斯噪聲，全靠模型自己硬去猜幀與幀之間怎麼連貫。

Go-with-the-Flow 搞了一套能即時執行的噪聲扭曲演算法。這套演算法從影片的光流場中提取運動資訊，把時間維度上原本純隨機的高斯噪聲，替換成帶有相關性的扭曲噪聲。

有意思的是，它在改動時間維度的同時，依然保留了空間維度的高斯特性。這就讓生成的畫面既能順著指定的軌跡運動，又不會損失每一幀本身的畫素精細度。

動鏡頭、移動作，一個演算法全包了

因為改動全在資料預處理階段，現有的影片擴散基座模型只需要極小的開銷就能完成微調。

團隊用這一套方法搞定了好幾種運動控制場景。比如框選畫面裡的某個區域性物體讓它按指定路線移動，或者控制全域性鏡頭的推拉搖移，甚至直接把一段參考影片裡的動作遷移到新畫面上。

根據論文公開的資訊，這項研究不僅做了使用者調研與實驗驗證，還把原始碼、模型權重以及演示影片都放了出來。

為什麼重要

對特效師和影片創作者來說，精準控制鏡頭和物體運動一直是個老大難問題。如果這個方案真能以極低算力開銷嵌入現有工作流，大家就不用為了讓主體轉個身而抽卡幾十次，區域性重繪和鏡頭排程的門檻會明顯降低。

從行業和技術路線上看，我們認為這篇論文聰明在「以巧破力」。過去一年業內做可控影片，大多在卷 ControlNet 變體或者改 Transformer 結構，算力吃得狠，基座一換還得重新適配。Netflix 團隊把問題推回到了數學和資料預處理本身，證明了單靠設計潛在空間的噪聲結構，就能榨出基座模型原有的控制潛力。

不過看起來它也有隱患。這套演算法的高度依賴於前端光流估計的質量，如果遇到光流算不準的大遮擋、劇烈光影變化或拓撲變形，扭曲噪聲很可能會帶崩畫面的穩定性。但無論如何，這種不改模型架構的輕量路線，給接下來的開源影片工具開發提供了一個極具價效比的新思路。