实时数字人模型 LPM 1.0：一张照片跑出 45 分钟对话视频

现在的 AI 语音对话，体验其实挺割裂的。要么对着一个跳动的波形球自言自语，要么屏幕里的数字人戴着人皮面具似地只动嘴皮子，聊上两三分钟，脸部就开始抽搐变形。

研究团队最近公布了一项名为 LPM 1.0 的实时数字人模型，试图把这个短板补上。只要喂给它一张单人照片和一段音频，它就能实时流式生成视频，甚至能一口气连续聊上 45 分钟，画面里的角色不仅不崩脸，还像真人一样有各种下意识的小动作。

不只对嘴型，连听你说话都有反应

以往很多所谓的虚拟人，本质上只是口型同步工具，身子僵直，眼神发空。LPM 1.0 的思路不太一样，它把对话拆成了三种状态：说话、倾听和停顿。

当你在说话时，数字人不是呆呆定在屏幕前，而是会根据听到的语音做出反馈，比如微微点头、眼神游移或者换个舒服的姿势。轮到它说话时，除了嘴唇精准配合发音，它还会自然地眨眼、皱眉、犹豫，甚至伸出手向摄像头做出击掌的动作，或是顺手扶一下面前的麦克风。

技术上，团队用了一种叫「多粒度身份条件」的机制。除了主图，模型还会参考不同角度和表情的素材，这意味着它在生成侧脸、露出牙齿或大笑产生皱纹时，不需要凭空硬猜细节，而是直接调取参考信息。

更实用的一点在于泛化能力。这项技术不需要针对特定角色做漫长的重新训练，不管是写实照片、二次元动漫脸还是 3D 游戏建模，扔进去就能直接跑。项目负责人 Ailing Zeng 还提到，它既能直接接入 ChatGPT 或豆包等现有的语音大模型做实时对话，也能用来给现成音频离线做播客或对白视频。

演示很惊艳，但目前只能看视频

不过，普通用户眼下还用不上它。研发团队明确强调，LPM 1.0 目前纯粹是个研究项目，没有任何开源代码、发布权重或上线公开网页 Demo 的计划。

团队自己也承认，生成的画面其实依然能挑出不少瑕疵，跟真正的实拍视频相比还有肉眼可见的差距。演示里出现的所有人脸，也全部来自 AI 生成，并非真人实拍。

更核心的顾虑在于安全。这种单张照片驱动、低延迟、能连续聊大半个小时的技术，几乎就是现成的实时 Deepfake 基础设施。一旦被不法分子拿去冒充亲友或公司高管打视频电话，诈骗门槛会被拉低到不可思议的程度。研究团队也直言，在建立起足够稳固的安全防护与合规机制之前，绝不会轻易开放使用权限。

为什么重要

我们认为，LPM 1.0 最值得夸奖的地方，不是单纯拉长了视频生成的时长，而是它敏锐地抓住了人机交互中最容易被忽视的「倾听态」。

真人对话绝不是单纯的你一句我一句。你在说话时对方的一个眼神晃动、一次欲言又止的深呼吸，恰恰是打消机械感、跨越恐怖谷效应的关键细节。LPM 1.0 证明了仅靠单图和音频流，就能在极低延迟下维持这种细腻的动态交互，这给未来的游戏 NPC、虚拟陪伴和数字客服指明了一条极具可行性的产品路径。

但从另一个角度看，这类技术的扩散速度远快于防御手段的建设。它做到了实时、长时程、零额外微调成本，这意味着攻击者只要拿到受害者一张社交媒体公开照片，就能在视频通话里上演连环套。团队选择闭门保密非常清醒，接下来真正考验行业的，不是谁能把虚拟人做得更真，而是谁能在这种实时欺诈面前筑起足够高的防线。