跳到正文
IFAI

AI科研

Skin Tokens 突破 3D 繫結:連螃蟹和甲蟲也能一鍵自動生成骨骼與蒙皮

首次發布 傳播指數 36

研究人員提出 Skin Tokens 及統一框架 TokenRig,能自動為 3D 模型估計骨骼與蒙皮。它不僅支援人形,連鳥類、甲蟲、螃蟹等複雜生物也能處理,蒙皮精度最高提升 133%。這意味著 3D 生成到動畫製作之間的關鍵瓶頸正在被打破。

Skin Tokens 突破 3D 繫結:連螃蟹和甲蟲也能一鍵自動生成骨骼與蒙皮
圖:arxiv.org

現在用 AI 隨手搓一個 3D 模型只要幾秒鐘,但真想讓它動起來,絕大多數動畫師還是得嘆口氣。

因為建模只是第一步,後面還有一座大山叫繫結。你得手動給模型塞骨骼、刷蒙皮權重,稍有不慎關節彎折就會穿模或者拉扯成橡皮泥。如果是人形還好說,一旦碰上多條腿的螃蟹或者長著甲殼的昆蟲,傳統工具基本只能靠人工一點點調。

研究人員在論文中提出了 Skin Tokens 與配套框架 TokenRig,直接把這個讓人頭疼的管線推向了全自動時代。

把蒙皮變成大語言模型能讀懂的詞元

以往搞自動化繫結,最大的坎不在骨骼,而在蒙皮權重。過去行業裡習慣把它當成高維連續迴歸問題來算,不僅計算量奇大,而且骨骼生成與蒙皮往往是割裂開的,兩邊各算各的,動起來極易穿幫。

TokenRig 的思路非常乾脆:既然做連續迴歸這麼痛苦,不如換個表達方式。團隊用上了 FSQ-CVAE,把原本稀疏複雜的蒙皮權重壓縮成離散的緊湊標記,也就是 Skin Tokens。

換句話說,他們把 3D 網格的變形規律變成了一個個詞元。骨骼引數和蒙皮標記被串成同一段序列,交給統一的自迴歸模型來預測。

模型在猜骨骼長在哪裡的同時,就已經在理解這根骨骼該怎麼拉扯周圍的表皮。團隊隨後還引入了強化學習,設計了幾何與語義獎勵機制,專門對付那些奇形怪狀的生僻模型。

跑分結果相當亮眼。論文資料顯示,採用 Skin Tokens 表徵後,蒙皮精度相比現有最強方法直接拉昇了 98% 到 133%;經過強化學習調優的完整 TokenRig 框架,骨骼預測精度也提升了 17% 到 22%。

連卡皮巴拉和蠍子都能綁上骨架

這套系統最討喜的地方在於通用性。

以往很多自動繫結工具本質上是人形專用模板換皮,只要模型不是雙足直立,系統當場抓瞎。而根據演示和論文測試,Skin Tokens 幾乎不挑食。

不僅常規的四足動物、鳥類、蛇和鯊魚能處理,面對結構刁鑽的螃蟹、甲蟲、蠍子甚至水豚(卡皮巴拉),它都能預測出合理的骨骼走向與蒙皮繫結。哪怕是關節極多、節肢複雜的生物,各層甲殼運動時的拉伸關係也能被穩穩抓住。

骨骼和蒙皮生成出來後,就能直接塞進現成的遊戲引擎或動畫軟體裡做動作,不用動畫師再從零手動刷權重。

為什麼重要

3D 內容生成卡在動畫管線前面已經很久了。市面上一堆模型能生成漂亮的 3D 雕塑,但做出來的基本是死物,進遊戲和影視專案全靠人工翻新。我們認為,Skin Tokens 證明了把 3D 物理形變離散化成 Token 是一條走得通的捷徑,它把原本割裂的管線並軌成了一個統一的生成任務。

對獨立遊戲開發者和小團隊來說,這東西如果開放工具鏈,價值極大。過去做一個生態豐富的怪獸或異形角色,找外包繫結可能要耗上幾天,現在幾分鐘就能拿到一個可堪一用的骨骼半成品,試錯成本被大幅拉低。

不過目前它依然處於學術成果階段,離成為 Blender 或 Maya 裡即插即用的生產力外掛還有距離。面對複雜的極簡拓撲、布料遮擋或者極度抽象的幻想生物,AI 猜出來的骨骼節數依然可能不合動畫師的精細手感。但至少,它讓滿大街生成的 3D 模型離真正活蹦亂跳只差最後一步了。

來源 (1)

  1. [1]

每日 AI 內容精選