KAIST 提出 Lip Forcing：两步扩散实现 31 FPS 实时口型同步

让视频里的角色跟着新音频对上嘴型，听起来不难，但做过的人都知道这活有多折磨。

要么用传统小模型，速度勉强能跟上，可画面一动嘴唇就像贴上去的纸片；要么上扩散模型，画质和自然度拉满了，渲染一秒视频却要等几十秒，直播和实时交互根本别想。

韩国 KAIST AI 联合 AIPARK 发了一篇新研究，拿出首个面向视频到视频（V2V）口型同步的自回归扩散模型 Lip Forcing，试图把画质和速度两头堵死的问题一次性解开。

砍到两步去噪，速度飙了近 40 倍

Lip Forcing 最激进的地方，在于把通常需要几十步甚至上百步的扩散过程，直接压缩成了两步。

团队先训练了一个 14B 参数的双向教师模型，负责把画质和对齐关系摸透，然后通过知识蒸馏，把它传授给因果学生模型。这个学生模型分了 1.3B 和 14B 两个规格。

在单张 H100 显卡上，1.3B 版本的推理速度跑到了 31.58 FPS，比同体量的双向模型快了 17.6 倍，正式跨过了 25 FPS 的实时运行门槛。首帧延迟也压到了 0.32 秒。

即使是效果更扎实的 14B 版本，也能跑到 15.11 FPS，相比同体量竞品 OmniAvatar 提升了将近 40 倍，吞吐量更是达到 LatentSync 的 4.7 倍。

解决扩散模型最头疼的二选一

以往做扩散口型同步，大家都会遇到一个叫分类器自由引导（CFG）的跷跷板难题。调大引导强度，口型对得极准，但原视频的人脸细节和表情会被抹掉；调小了，人脸保真度保住了，嘴型又开始各说各的。

Lip Forcing 抓住了这个规律。它让学生模型第一步完全不做引导，只管快速向目标靠拢、死保人脸身份；到了第二步才加上引导，专门拉紧音频与嘴型的同步，剩下的微小偏差再由专门的监督损失补齐。

为了能在流式传输中稳定跑下去，模型还用上了分块滑动窗口注意力机制。它只保留 7 个缓存帧，不用等整段视频加载完，就能像自回归生成文字一样，推一帧播一帧。

为什么重要

我们认为，Lip Forcing 真正摸到了实时 AI 交互的一道关键分水岭。

对开发者和产品团队来说，这意味着数字人直播、跨语言实时同传换嘴型、甚至游戏里的 NPC 实时语音对嘴，终于不再只能在「假人脸」和「PPT 式延迟」之间做妥协。虽然当前测试依赖单张 H100 这种高端硬件，但 1.3B 的模型体量给后续向消费级显卡蒸馏和轻量化留足了想象空间。

从技术路线上看，这项研究证明了自回归与扩散蒸馏结合的威力。它没有盲目堆算力，而是精准找到了采样轨迹上保真度与同步率的最佳交汇点，这种在两步采样里拆解任务的思路，很可能会被其他视频生成领域借用。

当然，目前 1.3B 版本在极限口型对齐得分上比起几十步的慢模型还有微小妥协，但换来的是真正能落地的实时吞吐。这项技术一旦开源铺开，那些还在靠高延迟切片拼接的传统口型服务，很快就要面临重构了。