Meta 公布 Avat3r:只需 4 张自拍照,几分钟捏出可动逼真头像
Meta 与慕尼黑工业大学研究团队公布论文 Avat3r,仅凭 4 张手机自拍和几分钟计算,就能生成可驱动的照片级 3D 头像。它借助视觉 Transformer 预测 3D 高斯,砍掉了以往百台相机或数小时渲染的门槛;不过目前在 RTX 3090 上仅跑 8 FPS,尚无法实时渲染。

以往想要在虚拟世界里搞出一个不像橡皮泥、能跨过「恐怖谷」的逼真数字人,门槛高得吓人。你要么得走进装有上百台专业相机的摄影棚,要么得拿着手机对着镜头挤眉弄眼做完 65 种表情,再把数据扔进四块高端显卡里硬算几个小时。
现在,Meta 和慕尼黑工业大学的研究人员给出了一个完全不同的解法。在一篇名为《Avat3r》的最新论文中,他们展示了一套新系统:只要用手机拍 4 张自拍,几分钟内就能生成一个可以做表情的逼真 3D 头像。
告别百台相机与 65 种表情
Meta 琢磨逼真虚拟人技术已经超过六年了。熟悉 VR 的人可能知道,他们最早那套效果惊艳的 Codec Avatars,背后是极其昂贵的专用采集设备,机房里动辄架着 100 多台同步相机,普通人根本摸不到边。
后来他们尝试过用手机扫描做降级方案。虽然设备便宜了,但过程非常折腾,用户必须在 3 分多钟里连续做出 65 种面部表情,拍完后还得在 4 块高端 GPU 上跑几个小时才能算出模型。
这次 Avat3r 最大的突破,就是把输入门槛一口气砍到了 4 张自拍照,处理时间也从数小时缩减到了几分钟。你不需要录长视频,也不需要按要求挨个摆出古怪的表情,随手拍四下就够了。
把 3D 高斯泼溅交给 Transformer
能在极少数据下跑出细节,关键在于底层的技术架构换了路子。研究团队采用了一种名为「大型重建模型」(LRM)的方法。
简单来说,就像大语言模型用 Transformer 理解文字规律一样,Avat3r 用视觉 Transformer(ViT)来理解人脸的三维几何规律。模型看到这 4 张二维自拍后,会直接预测并生成一组 3D 高斯(3D Gaussians)。
这种技术其实就是大家最近常听到的 3D 高斯泼溅(Gaussian Splatting),类似 Varjo Teleport、Meta 自己的 Horizon Hyperscapes 以及 Niantic 的 Scaniverse 里用到的渲染逻辑,能保留非常自然的皮肤质感和光影。
不过,目前的 Avat3r 还不是成品。虽然生成速度很快,但它的渲染极其吃力,在单张 RTX 3090 显卡上只能跑出 8 FPS,完全谈不上实时交互。此外,当前的动画驱动还没直接接入 VR 头显的面部和眼动追踪,尽管研究人员表示从技术上适配并不难。
为什么重要
对普通用户来说,逼真虚拟人一直停留在演示片里,核心阻碍就是「采集太累」。如果未来只要 4 张自拍就能生成能用的高保真化身,哪怕先用于视频会议或社交软件的虚拟替身,体验门槛也是天壤之别。不过以它目前 8 帧每秒的表现,大家现在还不需要急着期待它立刻装进 Quest 头显,它目前更像是一个打通关键路径的实验室雏形。
对行业而言,这项研究验证了「生成式 3D 重建」在人脸领域的威力。以前行业习惯靠暴力堆采集设备、堆几何扫描精度,而 Avat3r 证明了用预训练的大模型去「脑补」缺失的视角和表情完全可行。这会逼着其他做元宇宙和数字人 avatar 的团队从传统的图形学流水线,加速转向「Transformer 预测 3D 高斯」这条新跑道。
我们认为,Meta 这一步走得相当务实:先用最容易获取的输入(几张自拍)解决最痛苦的用户端采集问题。至于 8 FPS 的渲染瓶颈,在图形学和 AI 推理优化的历史规律面前,往往反而是最好解决的那一部分。假以时日,当推理框架再经历几轮轻量化裁剪,虚拟世界的真实感门槛很可能会被这项技术彻底推平。
来源 (1)
- uploadvr.com(在新标签页打开)原文uploadvr.com