LivePortrait：单张人像秒变动态视频，RTX 4090 单帧仅 12.8 毫秒

LivePortrait 是一个能让静态头像随视频动起来的开源动画框架。只要给一张人物或动物照片，再加上一段驱动视频，它就能把视频里的面部表情和头部姿态精准迁移到静态图像上，直接生成连贯的动态视频。

项目支持写实照片、油画、雕像和 3D 渲染等多种风格。除了人类肖像，团队还用动物数据进行了微调，猫、狗甚至大熊猫的照片也能被人脸视频准确驱动。

弃用 Diffusion，靠隐式关键点做到极致速度

目前业内做人脸动画大多跟随主流的扩散模型路线，生成质量不错，但运算开销大、推理速度慢。LivePortrait 没有走这条路，而是深入挖掘了基于隐式关键点的技术框架。

为了兼顾真实感与泛化能力，团队将训练数据扩展到了大约 6900 万个高质量视频帧，并采用图像与视频混合训练的策略。同时，他们发现紧凑的隐式关键点能很好地对应到面部动作单元。

团队由此设计了一个拼接模块和两个重定向模块。这两个模块仅通过极小的 MLP 实现，几乎不增加计算负担，却大幅提升了对五官细节的控制力。

在生成速度上，基于 PyTorch 并在单张 RTX 4090 显卡上测试，LivePortrait 的单帧生成时间仅需 12.8 毫秒，表现出远超传统扩散模型的计算效率。

怎么跑起来

目前 LivePortrait 的推理代码与模型权重已经全部开源，放在了 GitHub 的 KwaiVGI 组织名下，同时在 Hugging Face 上也提供了在线体验的 Demo。

整个训练分为两阶段：第一阶段从头训练基础模型的外观与动作提取器、变形模块和解码器；第二阶段冻结基础结构，单独优化拼接和重定向模块。对普通开发者来说，直接拉取官方权重即可进行本地推理。

为什么重要

做视频播客、虚拟主播或数字人交互的开发者最应该关注这个项目。以往 Diffusion 架构的数字人方案很难做到低延迟甚至实时互动，而 LivePortrait 把单帧延迟压到了 12.8 毫秒，让低成本、实时的面部驱动真正具备了工程落地的可行性。

我们认为它的聪明之处在于没有盲目跟风 Diffusion，而是用工程优化和超轻量 MLP 重新发掘了隐式关键点的潜力。对于算力有限但对流畅度和控制精度有硬性要求的应用场景，它是目前同类开源工具里极具竞争力的选择。