復旦開源 Hallo-Live：文本即時生成音影片數字人，延遲不到 1 秒

Hallo-Live 是復旦大學團隊開源的即時流式音影片數字人聯合生成框架。它的核心作用很簡單：只要給它一段文本，它就能即時、同步地把肖像影片和語音一起合成出來，專門用來解決互動場景下數字人說話髮卡、嘴型對不上的問題。

以往基於音影片擴散模型的數字人生成方案計算非常重，根本做不到即時互動，一旦強行做步數裁剪或模型壓縮，畫面質量和唇形同步率又會斷崖式下跌。Hallo-Live 把非同步雙流擴散與以人為中心的偏好引導蒸餾結合在一起，直接瞄準了端到端流式生成。

它是怎麼做到又快又準的

要在因果流式生成中讓嘴型不脫節，模型得知道當前和接下來要發什麼音。Hallo-Live 提出了未來擴充套件注意力機制（Future-Expanding Attention）。簡單來說，每個影片塊除了能獲取當前同步的音訊訊號，還能預先看到一小段未來的音素線索，從而大幅減少發音嘴型的滯後感。

為了把生成步數壓到極低而不崩畫質，團隊設計了名為 HP-DMD 的偏好引導蒸餾方法。它通過視覺逼真度、語音自然度和音畫同步率三重獎勵來重新調整訓練樣本權重，讓精簡後的模型在極少步數下依然能保持高畫質，避免了常見蒸餾演算法帶來的畫面模糊和細節丟失。

硬體要求與生成效能

從實測資料來看，在兩塊 NVIDIA H200 GPU 上，Hallo-Live 能夠跑出 20.38 FPS 的生成幀率，端到端延遲僅有 0.94 秒。

對比原本的教師模型 Ovi，Hallo-Live 的吞吐量提升了 16.0 倍，延遲則降低了 99.3 倍。在畫質指標 VideoAlign 綜合評分和嘴型同步置信度（Sync Confidence）上，它基本追平了慢速教師模型，並且在寫實人像、多說話人和風格化場景下都展現出了不錯的泛化能力。

專案目前已經公開了學術論文與生成效果展示，技術路線完全面向即時流式部署。

為什麼重要

如果你正在開發即時 AI 客服、虛擬陪伴或互動式虛擬主播，Hallo-Live 值得密切跟進。它證明了不需要先等語音生成完畢再掛驅動模型的串聯架構，直接從文本到音影片流式一體生成也能把延遲做到 1 秒以內。

我們認為這個專案的聰明之處在於把發音預測和偏好加權蒸餾結合了起來，找到了速度與唇形同步的平衡點。不過它的門檻依然擺在眼前：20 FPS 的即時推理需要兩塊 NVIDIA H200 支撐，對於普通開發者或邊緣部署來說成本依舊高昂，後續如何在消費級顯示卡上做進一步輕量化，會是決定它能否落地的關鍵。