跳到正文
IFAI

AI科研

Meta 推出 3D 动画模型 LUNA:不用绑骨骼,几张照片配草图就能动

首次发布 传播指数 36

Meta 推出 3D 人体动画模型 LUNA。它彻底绕开了传统的骨骼绑定与人体拟合,只需几张静态照片,就能靠动作视频、关键点甚至手绘草图直接驱动 3D 高斯形变。制作逼真 3D 人物动画不必再忍受衣物变形与肢体僵硬。

Meta 推出 3D 动画模型 LUNA:不用绑骨骼,几张照片配草图就能动
图:arxiv.org

如果你做过 3D 角色动画,大概对「绑骨骼」和「刷权重」的折磨深有体会。辛辛苦苦搭好人体模型,只要动作稍微剧烈一点,衣服就会诡异变形,胳膊和关节处常常被扯得像破布一样。

Meta 团队发布了一项名为 LUNA 的全新 3D 人体动画研究。它的核心思路非常干脆:既然传统骨骼绑定毛病这么多,干脆把它彻底扔掉。

在 LUNA 这里,你只需要给它几张目标人物的日常静态照片,再塞给它一段驱动动作,它就能直接重建出能跑能跳的逼真 3D 人物。

扔掉传统骨架,把动作直接画在 3D 高斯上

以往做单目 3D 人物动画,几乎都绕不开线性混合蒙皮(LBS)和参数化人体模型。这套传统管线很死板,一旦算法估算的关节位置稍微偏了一点点,渲染出来的画面就会严重抖动,更别提模拟复杂飘逸的衣物了。

LUNA 成了第一个支持隐式 2D 驱动的端到端 3D 动画模型。它完全不依赖显式的人体骨架拟合,而是把动作直接映射到 3D 高斯(3D Gaussian)的形变场上。

更让人惊喜的是它的输入方式极其随性。驱动信号不挑食,可以是一段真人运动视频、一串 2D 关节点序列,甚至可以是一张随手画的线条草图。

在底层架构上,LUNA 采用了一个基于 Transformer 的动作回归器。它聪明地把运动拆解为两部分:一个是管位移和朝向的全局刚体运动,另一个是管肌肉与衣物褶皱的局部微动态,从而兼顾了大开大合的肢体动作与精细的表面细节。

既不用骨骼,又怎么保证人不会变形变扁

完全抛开骨架模型直接从 2D 学 3D 形变,最大的隐患就是空间坍塌。没有固定的人体结构约束,模型很容易把角色压扁成一张纸。

为了解决这个问题,研究团队设计了一套混合监督方案。他们依然找了一个基于传统 LBS 的模型来当「教师」,但并不直接用它去驱动动作,而是把它作为软先验,把基础的人体空间结构蒸馏给 LUNA。

配合自适应的损失加权机制,LUNA 既能在极少数带骨架标注的数据上汲取先验,又能直接吞进海量没有标注的互联网日常视频。

这也让它具备了强大的零样本跨身份泛化能力。你哪怕拿一张从未见过的角色照片,再配上一段完全不相干的动作视频,它也能把动作顺畅地迁移过去。

为什么重要

我们认为,LUNA 最有价值的地方在于大幅降低了 3D 虚拟人资产的生成与动画门槛。

对游戏独立开发者、影视创作者和数字人从业者来说,传统动捕和绑骨骼不仅成本高昂,还需要极长的后期修穿模周期。如果未来只需几张照片和一段参考视频就能生成高保真动效,个人团队也能批量产出高品质的 3D 互动内容。

在行业层面,这代表了 3D 人体生成正从「物理几何拟合」走向「端到端神经渲染」。Meta 借此进一步巩固了在元宇宙与空间计算底层资产生成上的技术储备,也给依赖繁琐骨架管线的传统图形工具链敲响了警钟。

不过,目前这项研究还处于论文阶段,离工业级管线全面落地还有距离。彻底抛弃骨架虽然换来了灵活性,但在需要毫米级物理碰撞或高精度骨骼约束的游戏引擎里,纯神经变形依然面临后期微调难的问题。但无论如何,摆脱骨骼束缚这条路,Meta 看起来走得非常漂亮。

来源 (1)

  1. [1]

每日 AI 内容精选