跳到正文
IFAI

開源專案

MSFlow 開源:打字生成人體動作,還能鎖死任意關節位置

首次發布 傳播指數 48

文本生成人體動作模型 MotionSpaceFlow 開源。模型大小約 1.1GB,可在消費級 GPU 上執行。最值得關注的是,它無需額外微調,即可在推理時固定任意關節在特定時間點的位置,讓 AI 圍繞這個限制自動生成動作。

圖:yu1ut.com

MotionSpaceFlow(簡稱 MSFlow)是一個輕量級的文本生成人體動作模型。你只要輸入一段自然語言描述,它就能生成對應的 3D 人體動作骨骼動畫,更關鍵的是,它允許你在推理階段直接鎖死任意關節在特定時間點的位置。

這意味著你不僅能讓角色動起來,還能給它劃定物理邊界。

它能做什麼

常規的文本生成動作,輸入「一個人用左腿高踢」或「一個人四肢著地向前爬行」,模型能順利輸出對應動畫。MSFlow 還能處理更復雜的連貫指令,比如側手翻、慢跑後急停,甚至是模仿殭屍踉蹌行走的細節。

它的殺手鐧在於空間控制。以往用文本控制動作生成,AI 經常會「自由發揮」,手腳容易穿模或偏離目標位置。

MSFlow 引入了投影取樣機制。你可以明確指定某個人體關節在某一幀必須落在絕對座標的某個點上,比如要求角色在第 30 幀時右手必須摸到某個特定高度。模型會在生成過程中強制滿足這一幾何約束,並自動補全全身其他關節的協調過渡,不需要針對特定控制任務進行專門訓練。

為什麼能精準鎖住關節

市面上大多數擴散或流匹配動作模型,都習慣先把運動資料通過自動編碼器壓縮到低維的潛在空間。這種做法雖然省算力,但時間解析度被降取樣拉低了,而且潛在空間的向量缺乏明確的幾何含義,很難在生成中途精準微調某一幀的單個關節。

MSFlow 放棄了編碼器和解碼器,直接在全解析度的連續動作空間中執行流匹配。

為了處理不同格式的骨骼資料,研發團隊設計了多模態擴散 Transformer(RA-MMDiT)。當處理幀間相對變化的增量特徵時,模型採用因果注意力保證時序前後連貫;當處理全域性三維座標時,則切換為雙向注意力,統籌全身動作在全域性空間中的協調性。

正因為模型直接輸出真實的三維座標,系統才能在取樣步驟中直接將特定關節投影到指定位置,實現零樣本的精確控制。

規格與如何上手

模型本身的體積非常輕便,在 Hugging Face 上的權重檔案大約只有 1.1GB,普通消費級顯示卡就能輕鬆拉起推理。

目前開源倉庫包含了完整的推理演示、預訓練模型權重、訓練程式碼以及評測指令碼。開發者可以通過 uv 快速安裝依賴環境,倉庫內也直接提供了單個 GPU 依次生成踢腿、行走、側手翻等控制演示的自動化指令碼。

需要留意的是,該專案由 LY Corporation 研究人員開發,倉庫宣告中註明為研究性質的「臨時開源」,未來有轉為只讀或私有倉庫的可能。程式碼目前以 CC0 1.0 協議釋出,部分評測流程依賴外部資料集與第三方工具,上手部署前需要按文件手動下載對應資源。

為什麼重要

對於獨立遊戲開發者、3D 動畫師以及影視特效人員來說,MSFlow 提供了一個極其實用的快速原型工具。以往純靠文本生成的動作資產很難直接進專案,因為無法精準匹配場景中的互動道具;MSFlow 允許鎖死關鍵幀關節,讓文本生成的動作終於具備了工業互動的可能性。

從技術思路上看,這項工作證明了在運動生成領域,繞開潛在空間直接在原生座標空間做流匹配完全可行,甚至在控制粒度和細節保真度上更具優勢。只要硬體視訊記憶體允許,省去編解碼器的設計讓動作生成擺脫了壓縮失真的瓶頸,未來很可能會成為精細化人體動力學生成的參考範式。

來源 (2)

  1. [1]
    yu1ut.com(在新分頁開啟)原文yu1ut.com
  2. [2]

每日 AI 內容精選