跳到正文
IFAI

开源项目

HairDeck 开源:单张图片生成带骨骼 3D 发型,转头就能自然摆动

首次发布 传播指数 44

HairDeck 开源了单图生成风格化 3D 发型的模型,输入一张角色图就能生成完整的 3D 发片,并自带驱动动画的弹簧骨骼链。生成发片仅需 1 秒左右,比同类方法快 33 倍且朝向更准,支持直接导出 VRM 格式。模型大小仅 2.45GB,普通消费级显卡就能跑。

HairDeck 开源:单张图片生成带骨骼 3D 发型,转头就能自然摆动
图:hyzcluster.github.io

如果你平时折腾过 3D 角色建模,就会知道做头发简直是苦差事。好不容易用图生 3D 模型捏出了发型,往往也是一整坨实心网格,既没有层次感,转个头还硬得像戴了顶塑料头盔。

游戏和二次元资产里常用的做法,是让美术师一片片手工摆放「发片」(hair cards),再给每根发片绑上弹簧骨骼。现在,一个叫 HairDeck 的开源项目把这套繁琐的流程自动化了。

你只需要扔给它一张角色 2D 插画,它就能直接生成一整套带 UV 贴图的风格化 3D 发片,连带着用来驱动物理晃动的弹簧骨骼链也一并做好了。

一片头发一个 token,速度直接翻了 33 倍

在此之前,学术界生成这种风格化发片的代表是 CHARM。但 CHARM 的做法是自回归生成,把发型拆成一长串控制点按顺序猜,不仅速度极慢,发片朝向还经常歪七扭八。

HairDeck 的团队换了个思路:发型本质上是一堆没有先后顺序的发片集合。他们把每张发片的几何形状、根部位置和朝向压缩成单个 token,然后用类似文生图的集合扩散模型(set diffusion transformer)同时给所有发片去噪。

去噪完成后,第二个模型会跟着生成弹簧骨骼链,再通过几何蒙皮把发片和骨骼绑在一起。它还会直接从原图采样发色,就算是挑染或者渐变多色发型也能原样还原。

效果非常夸张。在 CHARM 的 100 个发型基准测试里,网格化之前的发片生成时间从 33.7 秒直接缩短到 1.01 秒,快了 33 倍。同时,倒角距离降低了 44%,发片朝向误差也直接砍掉了一半以上。

本地轻松跑,直接导出 VRM

最接地气的是,这项研究完全不是停留在论文里的 demo,代码、模型和训练脚本已经全盘开源。

模型在 Hugging Face 上的总大小只有 2.45GB 左右。官方不仅支持常规的英伟达显卡,还原生支持苹果的 Apple Silicon,哪怕是一台普通轻薄本或消费级电脑都能跑起来。

对于做 VTuber 模型或者游戏独立开发者来说,HairDeck 生成出来的资产可以直接导出为标准的 VRM 格式。拿到模型之后,角色一转头或者走动,头发就会跟着弹簧骨骼自然飘动,省去了在 Blender 里手动刷权重和绑骨骼的折磨。

而且项目采用了宽松的 Apache 2.0 许可证,商用完全没有限制,团队甚至把训练脚本也放了出来,方便个人或工作室用自己的美术风格去微调。

为什么重要

在目前的 3D AI 领域,大多数产品都在卷「一键生成整尊模型」,但那些模型往往只能看不能动,拓扑一团糟,根本没法塞进游戏引擎。HairDeck 的聪明之处在于,它没有去死磕整身建模,而是精准切入了工业界最耗时、最模块化的痛点——风格化头发。

它生成的不是一张糊在一起的贴图网格,而是游戏工业界标准的「发片加弹簧骨骼」。这意味着普通 3D 创作者和个人开发者拿它做出来的东西,是真正能进引擎、进动捕软件跑起来的半成品,省下了至少半天到一天的手工作业。

不过,目前的限制也很明显。它目前主要聚焦在二次元动漫或插画风格的发型,面对超写实发丝或者极其复杂的脏辫、盘发,表现肯定打折扣。但无论如何,把动画骨骼和几何网格在生成阶段就绑在一起,给接下来的角色生成工具指了一条非常实用的新路。

来源 (1)

  1. [1]
    hyzcluster.github.io(在新标签页打开)原文hyzcluster.github.io

每日 AI 内容精选