复旦开源 Hallo-Live：文本实时生成音视频数字人，延迟不到 1 秒

Hallo-Live 是复旦大学团队开源的实时流式音视频数字人联合生成框架。它的核心作用很简单：只要给它一段文本，它就能实时、同步地把肖像视频和语音一起合成出来，专门用来解决互动场景下数字人说话发卡、嘴型对不上的问题。

以往基于音视频扩散模型的数字人生成方案计算非常重，根本做不到实时交互，一旦强行做步数裁剪或模型压缩，画面质量和唇形同步率又会断崖式下跌。Hallo-Live 把异步双流扩散与以人为中心的偏好引导蒸馏结合在一起，直接瞄准了端到端流式生成。

它是怎么做到又快又准的

要在因果流式生成中让嘴型不脱节，模型得知道当前和接下来要发什么音。Hallo-Live 提出了未来扩展注意力机制（Future-Expanding Attention）。简单来说，每个视频块除了能获取当前同步的音频信号，还能预先看到一小段未来的音素线索，从而大幅减少发音嘴型的滞后感。

为了把生成步数压到极低而不崩画质，团队设计了名为 HP-DMD 的偏好引导蒸馏方法。它通过视觉逼真度、语音自然度和音画同步率三重奖励来重新调整训练样本权重，让精简后的模型在极少步数下依然能保持高画质，避免了常见蒸馏算法带来的画面模糊和细节丢失。

硬件要求与生成性能

从实测数据来看，在两块 NVIDIA H200 GPU 上，Hallo-Live 能够跑出 20.38 FPS 的生成帧率，端到端延迟仅有 0.94 秒。

对比原本的教师模型 Ovi，Hallo-Live 的吞吐量提升了 16.0 倍，延迟则降低了 99.3 倍。在画质指标 VideoAlign 综合评分和嘴型同步置信度（Sync Confidence）上，它基本追平了慢速教师模型，并且在写实人像、多说话人和风格化场景下都展现出了不错的泛化能力。

项目目前已经公开了学术论文与生成效果展示，技术路线完全面向实时流式部署。

为什么重要

如果你正在开发实时 AI 客服、虚拟陪伴或交互式虚拟主播，Hallo-Live 值得密切跟进。它证明了不需要先等语音生成完毕再挂驱动模型的串联架构，直接从文本到音视频流式一体生成也能把延迟做到 1 秒以内。

我们认为这个项目的聪明之处在于把发音预测和偏好加权蒸馏结合了起来，找到了速度与唇形同步的平衡点。不过它的门槛依然摆在眼前：20 FPS 的实时推理需要两块 NVIDIA H200 支撑，对于普通开发者或边缘部署来说成本依旧高昂，后续如何在消费级显卡上做进一步轻量化，会是决定它能否落地的关键。