復旦開源 Hallo-Live:文本即時生成音影片數字人,延遲不到 1 秒
復旦大學團隊提出即時流式數字人生成框架 Hallo-Live,能直接由文本同步合成語音與肖像影片。在兩塊 NVIDIA H200 上,它跑出 20.38 FPS 的速度,延遲僅 0.94 秒。它將雙流擴散與偏好引導蒸餾結合,解決了互動式數字人延遲高與音畫脫節的痛點。
復旦大學團隊提出即時流式數字人生成框架 Hallo-Live,能直接由文本同步合成語音與肖像影片。在兩塊 NVIDIA H200 上,它跑出 20.38 FPS 的速度,延遲僅 0.94 秒。它將雙流擴散與偏好引導蒸餾結合,解決了互動式數字人延遲高與音畫脫節的痛點。