FlexAvatar 亮相:单张图片 2 分钟捏出 360 度可动 3D 头像
FlexAvatar 提出一种基于 3D 高斯泼溅的新架构,仅凭单张图片就能在 2 分钟内生成完整的 360 度可动 3D 头部模型。团队通过专属标记解耦驱动信号与视角,混合单目和多视角数据训练,在 RTX 3090 上仅耗 1.7GB 显存即可跑出 20 FPS 的实时渲染与表情驱动。
拿单张自拍捏 3D 头像,大家通常会遇到一种尴尬:正脸看着还挺像,一旦镜头转到侧面甚至脑后,整个人头直接崩成扁平纸片,稍微做个夸张表情五官更会跟着视角一起扭曲。
FlexAvatar 想解决的正是这个老大难问题。来自慕尼黑工业大学等机构的研究团队提出了一种新架构,只要输入一张普通单目人像照片,就能在 2 分钟内算出一个完整的 360 度 3D 头部模型,并且后续可以随意驱动表情与转头。
把转头和做表情彻底拆开
以往单靠一张照片或单目视频训练 3D 头像,最致命的缺陷是视角和表情信号严重纠缠。AI 看到一个人转头并咧嘴笑,根本分不清哪些像素变化是因为转动了镜头,哪些是因为肌肉运动。
FlexAvatar 采用基于 Transformer 的编解码器架构,并接入了视觉模型 DINOv2 与 3D 高斯泼溅(3DGS)渲染技术。它在编码器中把单张图像映射到头像潜空间,再解码出 3DGS 表征。
最核心的绝活在于设计了被称为「偏置汇聚点」(bias sinks)的可学习数据源标记。这让模型能同时吃下大量容易获取的单目视频与昂贵的多视角数据,既借来了单目数据的强大泛化能力,又保住了多视角数据带来的完整 360 度立体几何结构。
训练完成后,系统把视角参数和表情潜变量完全独立开来。用户既可以自由转动视角看完整的后脑勺,也能单独输入表情信号驱动它说话大笑。
2 分钟生成,显存只要 1.7GB
除了建模完整,FlexAvatar 在落地效率上也表现得相当克制。
整个头像创建过程仅需 2 分钟左右。而在推理驱动阶段,运行在一张常见的 RTX 3090 显卡上,显存占用仅仅需要 1.7GB。
在这么低的资源消耗下,它依然能跑出 20 FPS 的渲染速度。此外,由于潜空间连续平滑,它不仅支持单张图片输入,也支持多张照片输入以获得更好细节,甚至能在不同人的头像特征之间做平滑插值过渡。
为什么重要
我们认为,FlexAvatar 最聪明的地方不是盲目去刷超大规模多视角扫描数据,而是找到了单目与多视角的平衡解法。
对独立开发者、游戏工作室或 XR 社交团队来说,这项技术意味着高拟真虚拟化身的门槛被大幅砍低。以往搭建 3D 角色要么靠昂贵的光场扫描阵列,要么靠人工精修穿模的后脑勺,现在一张静态证件照或生活照就能在两分钟内出成品。
更关键的是 1.7GB 显存与 20 FPS 的轻量表现。这意味着它不需要高端数据中心伺服器,直接跑在主流消费级显卡上就能胜任实时虚拟主播、NPC 实时交互或端侧视频会议替身。
不过也要看到,20 FPS 虽然勉强达到实时,距离 60 FPS 的流畅交互仍有优化空间。单张照片在极端侧光或严重遮挡下的抗干扰表现,也依然需要后续更多实际场景的检验。
来源 (1)
- tobias-kirschstein.github.io(在新标签页打开)原文tobias-kirschstein.github.io