Motion 3-to-4：單目影片直接轉 4D 動態物體，角色動作還能遷移

Motion 3-to-4 是一個開源的 4D 生成框架，能直接把一段普通的單視角單目影片，轉成高質量、時間上連續的 4D 動態物體。除了從二維影片重建完整的三維幾何運動，它還支援把提取出來的角色動作遷移到其他影片中。

在計算機視覺裡，從單一視角的影片做 4D 生成一直是個硬骨頭。最大的痛點在於訓練資料稀缺，而且只憑一個鏡頭角度，很難分清形變到底是物體的真實幾何結構，還是觀察視角的運動偽影。

把 3D 形狀與動作拆開做

Motion 3-to-4 解決這個問題的思路很直接：它沒有試圖一攬子直接生成時空體，而是把 4D 合成拆解成靜態 3D 形狀生成和運動重建兩個獨立環節。

在輸入一段單目影片後，使用者還可以提供一個可選的 3D 參考網格。模型依託規範的參考網格，去學習一套緊湊的運動潛在表徵。

接著，模型通過預測每一幀的頂點運動軌跡，來還原完整且具有時序一致性的幾何形狀。這種把幾何體和頂點運動軌跡剝離的機制，正是它能夠把動作單獨提取並遷移到其他影片裡的關鍵。

應對不同長度的 Transformer

影片長度各不相同，以往的模型往往很難適應長短不一的時序輸入。Motion 3-to-4 引入了一個可擴充套件的逐幀 Transformer 架構，專門用來提升對多變序列長度的魯棒性。

在評估環節，研究團隊不僅在現有的標準基準上進行了測試，還構建了一個帶有精確幾何真實標籤的新資料集。測試結果顯示，比起以往的研究方案，Motion 3-to-4 在幾何保真度和空間一致性上都有明顯提升。

目前該專案已經公開了研究論文，並上線了專案主頁展示技術細節和合成效果。

為什麼重要

以往想要獲得一段高質量的 4D 角色動作，往往需要多機位攝影棚採集或昂貴的光學動捕裝置。Motion 3-to-4 證明了僅憑手機拍攝的一段普通單視角影片，配合前饋網路，也能抽離出穩定的時序 3D 網格軌跡。

對 3D 創作者和遊戲開發者來說，這套工具最具吸引力的地方在於「解耦」。把動作和靜態外觀分開之後，創作者不僅能重建 4D 素材，還能低成本複用影片裡的動態姿態，給數字資產製作省下大量手動綁骨骼的時間。

不過，單目重構畢竟存在天然的遮擋盲區，複雜大幅度動作的背面網格仍然依賴先驗補全。它更適合當作動捕輔助與資產快速原型的工具，值得需要做 3D 角色動畫和視效實驗的開發者跟進嘗試。