Motion4Motion 突破骨骼限制：連狐狸的動作都能遷給長頸鹿

想讓一段跳舞影片換個主角，在過去幾個月裡已經不算難事，但前提基本一樣：兩個人得長得差不多，至少得有一套相通的人體骨骼。

一旦你想把一隻狐狸跑跳的姿態，完整搬到一隻脖子極長的長頸鹿身上，市面上大部分動作遷移工具就會當場抓瞎。原因很簡單，它們太依賴預設的人體或動物骨架了。

研究團隊釋出了一項名為 Motion4Motion 的全新動作遷移框架，直接扔掉了傳統骨骼模板這副柺杖。

扔掉骨骼，改盯畫素流動

傳統的動作遷移管線，基本上都在圍繞骨骼結構打轉。比如用 ControlNet 或其他姿態估計工具，先從原影片裡抽出一根根火柴人式的骨架，再逼著目標角色套進去。

這種方法碰上體型接近的人類還行，一旦遇到跨物種遷移就徹底卡殼。現實世界裡不同動物的形態千差萬別，誰也找不到一套既能描述狐狸、又能套用在長頸鹿身上的通用骨骼。

再加上自然界各種生物的高質量配自動作資料極度匱乏，以前連 FlexiAct 這類前沿方案，也得為每個案例單獨最佳化，稍不注意就會過擬合或者漏出破綻。

Motion4Motion 換了一條思路：既然骨骼對不上，那就乾脆不看骨骼。它轉向追蹤源影片裡的密集畫素動作流（Motion Flow），把每個移動的畫素點當成最底層的動作基元。

簡單來說，它會在原影片裡持續跟蹤多個關鍵點，構建出一張連續的動態流向圖。隨後通過名為 TransPE 的模組，把這些點的位置與目標角色的外觀特徵進行對應，再把新軌跡注入影片生成模型，從而生成目標角色的動作。

即便狐狸和長頸鹿的身體比例天差地別，系統也能理順彼此的對應關係，把動作順暢地做出來。

完全免訓練，推理時直接跑

更難得的是，Motion4Motion 是一個完全免訓練（training-free）的方案。

它不需要在海量跨物種配對影片上花幾週時間搞預訓練，也不需要針對每段影片從頭微調引數。所有對映和生成邏輯，都是在推理階段即時完成的。

除了狐狸到長頸鹿這種極端的動物測試，它在常規的跳舞動作以及複雜多變的環境背景下，也展現出了極高的穩定性和遷移質量，表現明顯優於此前的基線模型。

目前該專案已經在專屬主頁（lhchen.top/Motion4Motion/）上放出了演示與論文，程式碼與更多細節也在持續推進中。

為什麼重要

在數字內容創作和動畫特效行業裡，骨骼繫結一直是一項費時費力、門檻極高的重活。

對獨立創作者和小型動畫團隊來說，Motion4Motion 證明了跨物種動作遷移完全可以跳過繁瑣的骨架設定。以後想讓四足異獸做出一套複雜的擬人打鬥，或者讓各種幻想生物跳起街舞，創作者只需要一段參考動作影片，省去了從建模、綁骨到精細蒙皮的漫長流程。

對行業而言，它推翻了動作控制必須依賴 ControlNet 或姿態檢測先驗的固有路徑。過去行業受困於異形骨骼訓練資料少，現在通過純視覺流追蹤和推理期對映，直接繞過了資料瓶頸，這可能會啟發下一代影片擴散模型開發出更靈活的控場方式。

我們認為，這項研究最聰明的地方在於抓住了運動的本質是畫素在時空中的遷移，而不是冷冰冰的幾何剛體。當然，它的隱患在於語義極其抽象時的對應偏差，比如椅子腿對四足動物。但無論如何，能讓長頸鹿像狐狸一樣躍動起來，影片生成在通用動力學控制上已經邁出了非常漂亮的一步。