KAIST 提出 Lip Forcing：兩步擴散實現 31 FPS 即時口型同步

讓影片裡的角色跟著新音訊對上嘴型，聽起來不難，但做過的人都知道這活有多折磨。

要麼用傳統小模型，速度勉強能跟上，可畫面一動嘴唇就像貼上去的紙片；要麼上擴散模型，畫質和自然度拉滿了，渲染一秒影片卻要等幾十秒，直播和即時互動根本別想。

韓國 KAIST AI 聯合 AIPARK 發了一篇新研究，拿出首個面向影片到影片（V2V）口型同步的自迴歸擴散模型 Lip Forcing，試圖把畫質和速度兩頭堵死的問題一次性解開。

砍到兩步去噪，速度飆了近 40 倍

Lip Forcing 最激進的地方，在於把通常需要幾十步甚至上百步的擴散過程，直接壓縮成了兩步。

團隊先訓練了一個 14B 引數的雙向教師模型，負責把畫質和對齊關係摸透，然後通過知識蒸餾，把它傳授給因果學生模型。這個學生模型分了 1.3B 和 14B 兩個規格。

在單張 H100 顯示卡上，1.3B 版本的推理速度跑到了 31.58 FPS，比同體量的雙向模型快了 17.6 倍，正式跨過了 25 FPS 的即時執行門檻。首幀延遲也壓到了 0.32 秒。

即使是效果更紮實的 14B 版本，也能跑到 15.11 FPS，相比同體量競品 OmniAvatar 提升了將近 40 倍，吞吐量更是達到 LatentSync 的 4.7 倍。

解決擴散模型最頭疼的二選一

以往做擴散口型同步，大家都會遇到一個叫分類器自由引導（CFG）的蹺蹺板難題。調大引導強度，口型對得極準，但原影片的人臉細節和表情會被抹掉；調小了，人臉保真度保住了，嘴型又開始各說各的。

Lip Forcing 抓住了這個規律。它讓學生模型第一步完全不做引導，只管快速向目標靠攏、死保人臉身份；到了第二步才加上引導，專門拉緊音訊與嘴型的同步，剩下的微小偏差再由專門的監督損失補齊。

為了能在流式傳輸中穩定跑下去，模型還用上了分塊滑動視窗注意力機制。它只保留 7 個快取幀，不用等整段影片載入完，就能像自迴歸生成文字一樣，推一幀播一幀。

為什麼重要

我們認為，Lip Forcing 真正摸到了即時 AI 互動的一道關鍵分水嶺。

對開發者和產品團隊來說，這意味著數字人直播、跨語言即時同傳換嘴型、甚至遊戲裡的 NPC 即時語音對嘴，終於不再只能在「假人臉」和「PPT 式延遲」之間做妥協。雖然當前測試依賴單張 H100 這種高階硬體，但 1.3B 的模型體量給後續向消費級顯示卡蒸餾和輕量化留足了想像空間。

從技術路線上看，這項研究證明了自迴歸與擴散蒸餾結合的威力。它沒有盲目堆算力，而是精準找到了取樣軌跡上保真度與同步率的最佳交匯點，這種在兩步取樣裡拆解任務的思路，很可能會被其他影片生成領域借用。

當然，目前 1.3B 版本在極限口型對齊得分上比起幾十步的慢模型還有微小妥協，但換來的是真正能落地的即時吞吐。這項技術一旦開源鋪開，那些還在靠高延遲切片拼接的傳統口型服務，很快就要面臨重構了。