跳到正文
IFAI

开源项目

AniGen 开源:一张图生成带骨骼绑定的 3D 资产,可直接做动画

首次发布 传播指数 48

开源项目 AniGen 发布,支持仅凭单张图片直接生成内置完整关节骨架的 3D 模型。生成的资产无需繁杂后期即可导入动画软件制作动画,不管是台灯还是动物都能自然对齐。不过本地运行门槛较高,需要至少 18 GB 显存的 NVIDIA 显卡。

AniGen 开源:一张图生成带骨骼绑定的 3D 资产,可直接做动画
图:arxiv.org

过去一年里,AI 生成 3D 模型已经不算新鲜事,但做过动画的人都知道,生成出来的模型往往只是一尊「石头雕像」。

要想让它在游戏或动画里动起来,你必须经历漫长且痛苦的绑定流程:给模型塞进骨骼、调好关节层级,再一点点刷蒙皮权重。要是偷懒用传统的自动绑定插件,骨骼经常戳出模型表面,或者关节一弯曲就严重穿模。

开源框架 AniGen 正式公开了代码与研究成果。它给出的解法很直接:不再把建模和绑定分成两步走,而是从单张静态图片直接生成带完整关节和蒙皮权重的可动 3D 资产。

把骨骼与蒙皮写进底层基因

传统工作流的问题在于脱节。生成模型只管好看,后期的自动绑定又不知道模型的真实内部结构,两者经常打架。

AniGen 的核心思路是建立一个统一的 S³ 场(Shape、Skeleton、Skin),也就是把物体的形状、骨骼和蒙皮权重放在同一个空间域里联合表征。

为了让骨骼预测更准,研发团队引入了置信度衰减骨骼场,专门解决骨骼分界处的几何歧义问题。

同时,他们设计了双蒙皮特征场。这个机制把蒙皮权重和具体的关节数量解绑,意味着网络架构不需要为了多几个关节而重新设计,无论是简单道具还是复杂肢体都能套用这套逻辑。

在生成流程上,AniGen 采用了两阶段 flow-matching 管线:第一阶段先生成一个稀疏的结构脚手架,第二阶段再在结构化潜在空间中填充出密集的几何体与关节细节。

台灯、鲨鱼和小狗都能直接动

从官方放出的演示来看,AniGen 覆盖的品类相当广。

输入一张普通的台灯照片,它能自动识别台灯的机械铰链,生成带全关节绑定的模型,各节灯臂可以直接被拉伸或弯折。

换成生物同样适用。给它一张鲨鱼照片,生成的鲨鱼模型带有贴合鱼身曲线的脊椎骨骼,能流畅地做出游动动作;输入小狗图片,模型也能准确识别四肢关节并自然奔跑。

在基准测试对比中,无论是图像分割精度还是骨骼估计质量,AniGen 都明显领先传统的串联式竞品,也是与真实标准答案最为接近的方案。

目前该项目已经公开了代码仓库与本地部署说明。不过想要在本地跑起来,门槛并不低,你需要准备一块显存至少为 18 GB 的 NVIDIA 显卡。

为什么重要

AniGen 代表了 3D 内容生成领域一次关键的转向:从「生成好看的静态外壳」走向「生成可交互的功能实体」。

对于独立游戏开发者和小型动效团队来说,绑定角色和道具一直是最耗时、最枯燥的瓶颈环节。如果这类工具能融入工业管线,单人制作包含大量动态 NPC 或环境道具的场景将变得容易得多,不仅能省去数小时的手工修骨骼时间,还能极大降低试错成本。

对整个行业而言,这同样是具身智能仿真环境急需的基础能力。具身智能 Agent 需要在物理世界中操作各种铰接物体,比如打开柜门、扳动把手,AniGen 证明了端到端生成带物理运动拓扑的 3D 资产是完全可行的。

在我们看来,AniGen 最聪明的地方在于放弃了「打补丁式」的后处理绑定,转而在潜在空间里让骨架与网格同步生长。不过,18 GB 的显存门槛注定它短期内还是技术极客和中高端工作站的玩具,而且面对衣物褶皱或极端形变时,生成的蒙皮权重是否经得起大范围形变考验,还需要更多实际项目的检验。

来源 (1)

  1. [1]

每日 AI 内容精选