阿里公布 LHM 模型：单张照片几秒生成可驱动 3D 数字人

过去想要把一个真人做成能跑能跳的 3D 数字替身，通常只有两条路：要么把人带进布满摄像头的专业扫描棚，要么拿着一段视频让电脑算上几个小时，一点点优化几何形变和贴图。

阿里巴巴团队近日提出了一套名为 LHM（Large Animatable Human Reconstruction Model）的全新模型。它的目标很直接：只给一张普通的全身单人照片，几秒钟之内就能生成一个能直接做动作的高保真 3D 人体化身。

把 3D 高斯塞进前馈网络

单张照片做可驱动 3D 人体，最大的难点在于怎么把物体的几何形状、外观贴图和肢体骨骼运动解耦开来。以前那些依靠合成数据训练出来的静态模型，放到真实照片上往往效果很差，而基于视频优化的方案虽然精细，却根本谈不上速度。

LHM 的思路是放弃缓慢的迭代优化过程，改用纯粹的前馈推理。它采用了业界热门的 3D Gaussian Splatting（3D 高斯泼溅）技术来表示人体模型。

整个处理过程依靠一个被称为多模态身体-头部 Transformer（MBHT）的架构。系统从输入的单张照片里分别提取身体与头部的图像标记，再用注意力机制将这些外观特征与 3D 几何特征强行对齐，最后直接解码输出成千上万个 3D 高斯球的参数。

脸部和手部不需要二次返工

在很多现有的 3D 重建流程里，脸部往往最容易变形，手部也很容易糊成一团，从业者通常必须额外挂载专门的面部模型进行二次修补。

LHM 设计了一套头部特征金字塔编码方案，专门聚合多尺度的头部与面部区域特征。研究团队在论文中表示，这让模型不仅能牢牢保留原图人物的长相特征，而且手部和面部在生成后完全不需要任何后处理。

不过这项技术目前也并非毫无破绽。从团队展示的动效演示来看，由于使用了原始图像遮罩进行裁剪，生成视频的边缘偶尔会出现白色的遮挡瑕疵，同时部分肢体动作在运动估计时还会伴随轻微的抖动。

为什么重要

我们认为，LHM 最核心的突破在于把可动 3D 人体建模的时间单位从「小时」彻底拉到了「秒级」。

对于游戏开发者、虚拟主播和电商展示来说，单图即时生成动画替身的价值非常直观。以往为了给玩家定制一个 3D 角色，成本高昂且耗时漫长，如果未来接入这项技术，用户上传一张自拍照，后台几秒内就能把可操作的角色丢进游戏引擎里。

对整个行业而言，生成式 3D 正在经历从静态物品向可动人体的迁移。LHM 证明了纯前馈网络配合注意力机制，完全可以在没有多视角输入的情况下，单靠先验知识脑补出合理的立体结构与动作骨架，这可能会逼着同类方案加速抛弃沉重的后处理管线。

看起来，阿里巴巴这一步走得很讨巧，用 3D 高斯泼溅换取了惊人的渲染效率和几何细节。但隐患也同样摆在眼前：轻微的抖动与遮罩瑕疵说明单图对复杂遮挡区域的推断依然存在不确定性，想要真正进入高要求的影视和商业级流水线，它还需要在动作平滑度上再下一番功夫。