FastVMT 影片運動遷移：把賽車動作套給奔跑的狼，生成加速 3.4 倍

想用 AI 生成一段精準運鏡的動態影片，往往得經歷反覆抽卡的折磨。你明明想要一段如同動作電影般凌厲的追車軌跡，生成的汽車卻總在畫面裡飄忽不定，背景甚至還會莫名扭曲。

研究團隊公佈了一項名為 FastVMT 的影片運動遷移技術，試圖把運鏡和動作的控制權徹底交回創作者手裡。

這項技術做的事情很簡單：拿一段現有影片作為「動作骨架」，比如一輛在公路上飛馳的賽車。你只需要輸入幾句文本提示詞，就能把賽車替換成奔跑的狼、行駛的船、火車甚至棒球運動員。

不論你換成什麼新主體、新背景，它都會嚴格沿著參考影片裡的軌跡行動。不僅物體的移動路線一致，原影片裡的鏡頭推拉和平移也會完整保留在新畫面中。

更讓人驚喜的是，FastVMT 聲稱其生成速度比現有主流方法快了 3.43 倍，而且影片的視覺質感與時間連貫性幾乎毫無損失。

砍掉兩處算力冗餘，生成提速 3.4 倍

在此之前，影片運動遷移之所以慢，根源在於主流的 Diffusion Transformer（DiT）架構藏著不少計算浪費。

以往的加速手段往往只在表面做算力最佳化，但 FastVMT 的研究團隊指出了兩個深層的結構性冗餘。

首先是「運動冗餘」。影片相鄰兩幀之間的物體位移通常很微小且平滑，但通用的 DiT 架構每次計算注意力機制時，都會去掃視整個畫面的遠距離區域。FastVMT 給注意力層套上了區域性鄰域掩碼，直接省去了不必要的遠距離互動計算。

其次是「梯度冗餘」。在擴散模型的生成軌跡上，梯度的變化其實相當緩慢。如果每一步都死板地從頭重算一遍梯度，純粹是算力浪費。FastVMT 設計了一套排程方案，直接複用前幾步算好的梯度，跳過無謂的重複計算。

兩刀切下去，模型甩掉了沉重的計算包袱，換來了平均 3.43 倍的速度躍升。

為什麼重要

我們認為，FastVMT 最聰明的地方在於，它為影片生成的可控性找到了一條輕巧的實用路線。

對影片創作者和動畫製作者來說，如何讓角色嚴格按照既定分鏡行動，一直是個巨大的痛點。過去為了穩定運動軌跡，要麼需要反覆抽卡碰運氣，要麼得花大代價對模型進行專項微調。如果能拿現成實拍當作動作參考直接「換皮」，分鏡控制的門檻將被大大拉低。

在技術思路上，這也給整個 DiT 生態提了個醒：想要模型跑得快，不一定非得堆硬體或暴力剪枝。順應物理世界的規律，砍掉那些反常識的冗餘計算，往往能帶來更優雅的效能紅利。

不過，現在想親自上手可能還得等一等。雖然研究團隊建立了專案頁面，但頂部的 GitHub 倉庫目前還沒有關聯實際程式碼，暫時只公開了論文。對開發者和創作者而言，不妨先保持關注，看看這套去冗餘機制未來是否會被主流影片工具直接吸納。