复旦开源 Hallo-Live:文本实时生成音视频数字人,延迟不到 1 秒
复旦大学团队提出实时流式数字人生成框架 Hallo-Live,能直接由文本同步合成语音与肖像视频。在两块 NVIDIA H200 上,它跑出 20.38 FPS 的速度,延迟仅 0.94 秒。它将双流扩散与偏好引导蒸馏结合,解决了交互式数字人延迟高与音画脱节的痛点。
复旦大学团队提出实时流式数字人生成框架 Hallo-Live,能直接由文本同步合成语音与肖像视频。在两块 NVIDIA H200 上,它跑出 20.38 FPS 的速度,延迟仅 0.94 秒。它将双流扩散与偏好引导蒸馏结合,解决了交互式数字人延迟高与音画脱节的痛点。