跳到正文
IFAI

AI科研

Skin Tokens 突破 3D 绑定:连螃蟹和甲虫也能一键自动生成骨骼与蒙皮

首次发布 传播指数 36

研究人员提出 Skin Tokens 及统一框架 TokenRig,能自动为 3D 模型估计骨骼与蒙皮。它不仅支持人形,连鸟类、甲虫、螃蟹等复杂生物也能处理,蒙皮精度最高提升 133%。这意味着 3D 生成到动画制作之间的关键瓶颈正在被打破。

Skin Tokens 突破 3D 绑定:连螃蟹和甲虫也能一键自动生成骨骼与蒙皮
图:arxiv.org

现在用 AI 随手搓一个 3D 模型只要几秒钟,但真想让它动起来,绝大多数动画师还是得叹口气。

因为建模只是第一步,后面还有一座大山叫绑定。你得手动给模型塞骨骼、刷蒙皮权重,稍有不慎关节弯折就会穿模或者拉扯成橡皮泥。如果是人形还好说,一旦碰上多条腿的螃蟹或者长着甲壳的昆虫,传统工具基本只能靠人工一点点调。

研究人员在论文中提出了 Skin Tokens 与配套框架 TokenRig,直接把这个让人头疼的管线推向了全自动时代。

把蒙皮变成大语言模型能读懂的词元

以往搞自动化绑定,最大的坎不在骨骼,而在蒙皮权重。过去行业里习惯把它当成高维连续回归问题来算,不仅计算量奇大,而且骨骼生成与蒙皮往往是割裂开的,两边各算各的,动起来极易穿帮。

TokenRig 的思路非常干脆:既然做连续回归这么痛苦,不如换个表达方式。团队用上了 FSQ-CVAE,把原本稀疏复杂的蒙皮权重压缩成离散的紧凑标记,也就是 Skin Tokens。

换句话说,他们把 3D 网格的变形规律变成了一个个词元。骨骼参数和蒙皮标记被串成同一段序列,交给统一的自回归模型来预测。

模型在猜骨骼长在哪里的同时,就已经在理解这根骨骼该怎么拉扯周围的表皮。团队随后还引入了强化学习,设计了几何与语义奖励机制,专门对付那些奇形怪状的生僻模型。

跑分结果相当亮眼。论文数据显示,采用 Skin Tokens 表征后,蒙皮精度相比现有最强方法直接拉升了 98% 到 133%;经过强化学习调优的完整 TokenRig 框架,骨骼预测精度也提升了 17% 到 22%。

连卡皮巴拉和蝎子都能绑上骨架

这套系统最讨喜的地方在于通用性。

以往很多自动绑定工具本质上是人形专用模板换皮,只要模型不是双足直立,系统当场抓瞎。而根据演示和论文测试,Skin Tokens 几乎不挑食。

不仅常规的四足动物、鸟类、蛇和鲨鱼能处理,面对结构刁钻的螃蟹、甲虫、蝎子甚至水豚(卡皮巴拉),它都能预测出合理的骨骼走向与蒙皮绑定。哪怕是关节极多、节肢复杂的生物,各层甲壳运动时的拉伸关系也能被稳稳抓住。

骨骼和蒙皮生成出来后,就能直接塞进现成的游戏引擎或动画软件里做动作,不用动画师再从零手动刷权重。

为什么重要

3D 内容生成卡在动画管线前面已经很久了。市面上一堆模型能生成漂亮的 3D 雕塑,但做出来的基本是死物,进游戏和影视项目全靠人工翻新。我们认为,Skin Tokens 证明了把 3D 物理形变离散化成 Token 是一条走得通的捷径,它把原本割裂的管线并轨成了一个统一的生成任务。

对独立游戏开发者和小团队来说,这东西如果开放工具链,价值极大。过去做一个生态丰富的怪兽或异形角色,找外包绑定可能要耗上几天,现在几分钟就能拿到一个可堪一用的骨骼半成品,试错成本被大幅拉低。

不过目前它依然处于学术成果阶段,离成为 Blender 或 Maya 里即插即用的生产力插件还有距离。面对复杂的极简拓扑、布料遮挡或者极度抽象的幻想生物,AI 猜出来的骨骼节数依然可能不合动画师的精细手感。但至少,它让满大街生成的 3D 模型离真正活蹦乱跳只差最后一步了。

来源 (1)

  1. [1]

每日 AI 内容精选