跳到正文
IFAI

開源專案

UniMate:給任意 3D 骨骼角色一句話生成動作

首次發布 傳播指數 59

普林斯頓與 UC Berkeley 等團隊開源 UniMate。只需輸入繫結骨骼的 3D 模型和文本提示,它就能直接生成關節動作,無需針對特定骨骼微調。無論是人類、飛禽走獸還是剛性機械均可驅動,程式碼與預訓練權重已完整開源。

UniMate 是一個能直接給任意 3D 骨骼角色生成動作的開源模型。以前用 AI 生成骨骼動畫,幾乎只能伺候標準的人形骨骼,一旦換成鳥類、蛇、花朵、衛星或者加菲貓,模型當場就罷工。

UniMate 改變了這件事。你只要給它一個已經綁好骨骼的 3D 資產,外加一句文本提示,它就能直接生成對應的關節運動。全程不需要針對這具骨骼重新訓練,推理時也不需要額外最佳化。

它能做什麼

這套模型吃得下非常雜食的骨骼結構,涵蓋了兩足、四足、鳥類、昆蟲、海洋生物、蛇類以及各種機械剛性物體。

輸入一句「狗向前走」或「蛇向前爬行」,它就能按對應骨骼的解剖邏輯輸出連貫動作。除了文本生成動作,它還天生支援三種零樣本能力。

第一種是區域性編輯,固定住上半身或頭部,只讓下半身按照提示詞換個走法;第二種是動作插幀,定好起始和結束姿勢,由它補齊中間過渡;第三種是動作串聯拓展,按順序給多句指令就能一段段平滑接下去。

怎麼做到的與開源情況

傳統的運動生成模型往往把骨骼當成固定長度的向量,骨骼拓撲一變就失效。UniMate 採用了一套感知拓撲的擴散 Transformer。

它通過圖拉普拉斯運算元擴充套件了旋轉位置編碼,並引入了圖感知注意力偏置,讓模型能準確理解不同關節之間的物理層級和相對距離。訓練則基於流匹配方法,網路能直接預測噪聲到真實運動的速度場。

為了餵飽這個架構,團隊整理出了包含 7430 種骨骼和 13769 條動作片段的 UniML3D 資料集,清洗規範了來自 Mixamo、Objaverse-XL 以及 Truebones 的異構資料。

目前該專案已被 SIGGRAPH Asia 2026 接收。官方開源了完整的訓練程式碼、推理指令碼、預處理流水線和 Hugging Face 權重。你可以用它自帶的預處理指令碼直接匯入現成的 GLB、glTF 或 FBX 模型。

為什麼重要

對獨立遊戲開發者、3D 動畫師和技術美術來說,UniMate 極具實用價值。給非人怪物或道具手搭動畫向來耗時費力,現在扔給它一個繫結模型就能快速出原型,能省下大量打關鍵幀的時間。

我們認為它最亮眼的地方,是終於打破了人體骨骼骨架的死板繫結,把骨骼動畫做成了一個真正通用的生成基礎模型。雖然目前面對複雜物理互動時動作仍有瑕疵,部分過於冷門的畸形骨骼也可能失敗,但它的思路徹底拓寬了 3D 內容生成的邊界,非常值得動手一試。

來源 (3)

  1. [1]
    github.com(在新分頁開啟)原文github.com
  2. [2]
    linzhanmou.com(在新分頁開啟)報導linzhanmou.com
  3. [3]
    youtube.com(在新分頁開啟)報導youtube.com

每日 AI 內容精選