跳到正文
IFAI

開源專案

AniGen 開源:一張圖生成帶骨骼繫結的 3D 資產,可直接做動畫

首次發布 傳播指數 48

開源專案 AniGen 釋出,支援僅憑單張圖片直接生成內建完整關節骨架的 3D 模型。生成的資產無需繁雜後期即可匯入動畫軟體製作動畫,不管是檯燈還是動物都能自然對齊。不過本地執行門檻較高,需要至少 18 GB 視訊記憶體的 NVIDIA 顯示卡。

AniGen 開源:一張圖生成帶骨骼繫結的 3D 資產,可直接做動畫
圖:arxiv.org

過去一年裡,AI 生成 3D 模型已經不算新鮮事,但做過動畫的人都知道,生成出來的模型往往只是一尊「石頭雕像」。

要想讓它在遊戲或動畫裡動起來,你必須經歷漫長且痛苦的繫結流程:給模型塞進骨骼、調好關節層級,再一點點刷蒙皮權重。要是偷懶用傳統的自動繫結外掛,骨骼經常戳出模型表面,或者關節一彎曲就嚴重穿模。

開源框架 AniGen 正式公開了程式碼與研究成果。它給出的解法很直接:不再把建模和繫結分成兩步走,而是從單張靜態圖片直接生成帶完整關節和蒙皮權重的可動 3D 資產。

把骨骼與蒙皮寫進底層基因

傳統工作流的問題在於脫節。生成模型只管好看,後期的自動繫結又不知道模型的真實內部結構,兩者經常打架。

AniGen 的核心思路是建立一個統一的 S³ 場(Shape、Skeleton、Skin),也就是把物體的形狀、骨骼和蒙皮權重放在同一個空間域裡聯合表徵。

為了讓骨骼預測更準,研發團隊引入了置信度衰減骨骼場,專門解決骨骼分界處的幾何歧義問題。

同時,他們設計了雙蒙皮特徵場。這個機制把蒙皮權重和具體的關節數量解綁,意味著網路架構不需要為了多幾個關節而重新設計,無論是簡單道具還是複雜肢體都能套用這套邏輯。

在生成流程上,AniGen 採用了兩階段 flow-matching 管線:第一階段先生成一個稀疏的結構腳手架,第二階段再在結構化潛在空間中填充出密集的幾何體與關節細節。

檯燈、鯊魚和小狗都能直接動

從官方放出的演示來看,AniGen 覆蓋的品類相當廣。

輸入一張普通的檯燈照片,它能自動識別檯燈的機械鉸鏈,生成帶全關節繫結的模型,各節燈臂可以直接被拉伸或彎折。

換成生物同樣適用。給它一張鯊魚照片,生成的鯊魚模型帶有貼合魚身曲線的脊椎骨骼,能流暢地做出遊動動作;輸入小狗圖片,模型也能準確識別四肢關節並自然奔跑。

在基準測試對比中,無論是影像分割精度還是骨骼估計質量,AniGen 都明顯領先傳統的串聯式競品,也是與真實標準答案最為接近的方案。

目前該專案已經公開了程式碼倉庫與本地部署說明。不過想要在本地跑起來,門檻並不低,你需要準備一塊視訊記憶體至少為 18 GB 的 NVIDIA 顯示卡。

為什麼重要

AniGen 代表了 3D 內容生成領域一次關鍵的轉向:從「生成好看的靜態外殼」走向「生成可互動的功能實體」。

對於獨立遊戲開發者和小型動效團隊來說,繫結角色和道具一直是最耗時、最枯燥的瓶頸環節。如果這類工具能融入工業管線,單人制作包含大量動態 NPC 或環境道具的場景將變得容易得多,不僅能省去數小時的手工修骨骼時間,還能極大降低試錯成本。

對整個行業而言,這同樣是具身智慧模擬環境急需的基礎能力。具身智慧 Agent 需要在物理世界中操作各種鉸接物體,比如開啟櫃門、扳動把手,AniGen 證明了端到端生成帶物理運動拓撲的 3D 資產是完全可行的。

在我們看來,AniGen 最聰明的地方在於放棄了「打補丁式」的後處理繫結,轉而在潛在空間裡讓骨架與網格同步生長。不過,18 GB 的視訊記憶體門檻註定它短期內還是技術極客和中高階工作站的玩具,而且面對衣物褶皺或極端形變時,生成的蒙皮權重是否經得起大範圍形變考驗,還需要更多實際專案的檢驗。

來源 (1)

  1. [1]

每日 AI 內容精選