Google 发布 VLOGGER：一张照片配一段音频，就能让人物开口说话还带手势

以前想让静态照片里的人「开口说话」，做出来的效果往往很僵硬，基本就是把嘴巴抠出来对个口型，身子和手纹丝不动。

Google Research 的研究人员最近掏出了一个叫 VLOGGER 的 AI 系统。你只要丢给它一张正面照片和一段音频，它就能合成出一段视频：照片里的人不仅在对口型说话，连眼神、眨眼、头部晃动，甚至手势和躯干动作都给配齐了。

一张照片加段录音，连手势都给对上了

负责这项研究的是 Google Research 的 Enric Corona 团队，相关成果写在了一篇名为《VLOGGER: Multimodal Diffusion for Embodied Avatar Synthesis》的论文里。

这个系统背后用的是扩散模型。研究人员把原本用来做文本生成图像的扩散技术，直接扩展到了视频生成领域。

更狠的是他们喂给模型的数据。团队专门整理了一个名为 MENTOR 的庞大数据集，里面收录了超过 80 万个不同人物身份、累计 2200 小时的视频，规模比以往同类数据集大了一个数量级。

有了海量数据垫底，VLOGGER 面对不同肤色、年龄、着装和拍摄姿态时，都不需要提前针对某个人做单独微调。

不仅是对嘴型，这次连半身都在动

以往同类模型大多依赖人脸检测，把脸部裁切出来单独做动画，最后再贴回去，边缘很容易穿帮。

作者在论文里特意强调，VLOGGER 不用裁脸，也不会只盯嘴唇，而是直接生成包含躯干在内的整张图像。不管是说话时的身体起伏，还是配合语气的肢体动作，它都能算出来。

在实际测试里，它不仅能从单张静态图生成播报视频，还能拿来做视频自动配音换音轨、填补视频缺失帧，或者用于低带宽网络下的在线视频交互。

不过它现在还不是完美的。生成的视频普遍偏短，人物身后的背景基本是静止的，人物也不能在三维场景里走动，细看依然能挑出一些画面瑕疵。

为什么重要

做数字人或者虚拟主播的门槛，看起来正在被这种技术彻底踩平。以往企业要做一个像样的虚拟讲解员，要么去棚里动捕，要么拿几百张图专门训一个专属小模型。

如果 VLOGGER 这种方案成熟落地，普通创作者只要手里有一张清晰肖像和一段旁白，几分钟就能拼出一段带肢体动作的讲解视频，成本几乎归零。

对行业来说，它把虚拟形象生成的竞争焦点从「单纯对准嘴唇」，直接拔高到了「连带躯干和手势的自然交互」。这对在线教育、播客转视频、游戏 NPC 甚至低带宽视频通话都是利好。

但我们认为，它带来最大的隐患依然是深伪造假。以前要伪造一段真人的动态视频，素材门槛很高；现在如果随便一张社交媒体头像配上仿冒录音就能动起来，网络钓鱼和虚假信息的防范成本会大幅飙升。