動作模型 Möbius:一句話生成 3D 動作,還能反向理解與指令編輯
研究人員提出統一動作-語言模型 Möbius,把 3D 人體動作的生成、理解、補全與編輯整合進同一個架構。模型直接處理連續幀級動作,省去了離散化和預訓練 VAE,引數最高拓展至 1.7B。這意味著同一個模型既能聽懂動作也能做動畫,大幅降低了 3D 角色動作製作與微調的門檻。
Möbius 是一個能把 3D 人體動作理解、生成、補全和編輯全包攬的統一動作-語言模型。你輸入一句話描述,它能直接生成對應的 3D 骨骼動畫;反過來,丟給它一段動作片段,它也能用自然語言精準描述角色在幹什麼。
除了常規的文生動作,它還支援時序動作補全與指令編輯。如果你手裡只有一段不完整的殘缺動作,它可以根據上下文自動把缺失動作補齊,甚至能按文字要求定製補全;想微調現有動畫時,直接對它提自然語言修改要求即可。
它是怎麼跑通的
以往同類模型往往是拼裝結構:語言模型負責動作理解,生成部分再外掛一個基於潛空間的擴散模組。兩者表示空間割裂,生成質量與理解連貫性很難兼顧。
Möbius 把擴散去噪過程直接拉進了動作理解的多模態表示空間。乾淨動作、帶譟動作以及文本特徵共同參與統一的注意力計算,再通過角色專用引數分別處理理解與生成兩路任務。
更關鍵的一點在於,它直接在連續幀級別的原始動作資料上執行。它不需要對動作做離散離散化處理,也完全甩掉了預訓練動作 VAE 的包袱,大幅簡化了動作表徵流程。
實測效果與開放情況
團隊提供了 0.6B 和 1.7B 兩種引數規模,並在高達 1700 小時的動作資料集上進行了擴充套件驗證。
在 HumanML3D 基準測試中,0.6B 版本的 R@1 檢索準確率達到 0.8209,FID 降到了 6.1291,各項關鍵指標明顯超過同類統一模型。1.7B 版本同樣在更大規模資料上保持了極高的動作多樣性與準確度。
目前研究團隊已經在 arXiv 釋出了論文並上線了專案主頁展示效果。不過需要說明的是,其 GitHub 倉庫當前標明程式碼還在內部稽核階段,正式原始碼與權重還需要等待稽核完畢後放出。
為什麼重要
對於遊戲開發者、3D 動畫師以及需要配合影片模型做分鏡預演的創作者來說,Möbius 這類工具非常值得持續跟蹤。過去調整一段動畫往往需要在動作庫搜尋、重定向和手動修穿模之間來回折騰,能直接用自然語言理解加微調的工具,會顯著縮短原型製作週期。
我們認為,這項工作最聰明的地方是徹底拋棄了 VAE 壓縮和離散 Token,證明了連續幀級原始動作同樣可以在自迴歸和擴散混合架構下良好收斂。不過在權重和程式碼正式解禁前,它暫時還不能直接接入生產管線,建議動畫和技術美術團隊先看主頁 Demo,把關注點放在它後續開源的許可協議與介面易用性上。
來源 (3)
- jiazhishu.github.io(在新分頁開啟)原文jiazhishu.github.io
- arxivdaily.com(在新分頁開啟)報導arxivdaily.com
- arxiv.org(在新分頁開啟)報導arxiv.org