LeapTalk 实现单步生成：数字人口播达 200 FPS，彻底解决漂移

做过数字人对话或实时播报的人都知道，现有的数字人方案总让人抓狂：画质细腻的扩散模型往往需要几十步去噪，延迟高到没法做即时交互；跑得快的方案播着播着，人脸又会渐渐走样变形。

研究团队公布的全新框架 LeapTalk，就是冲着这个矛盾来的。输入任意一张人物参考照片和一段音频，它就能基本实时输出口型同步的播报视频。在一块 H200 GPU 上，它的生成速度甚至飙到了每秒 200 帧（200 FPS）。

用「布朗桥」锚定人脸，彻底甩掉多步去噪

传统的扩散生成总是从一片随机噪声出发，反复计算好几步才能还原出画面，这在实时流式场景下几乎判了死刑。而自回归方法按时序一帧一帧推，前一帧的微小误差会无限累积，时间一长就会出现严重的「身份漂移」。

LeapTalk 的破局点在于换掉了生成路径。它没有走常规的噪声到数据路线，而是引入了基于布朗桥的数据到数据传输架构。

说白了，它让每一帧的生成都从那张固定的参考图出发，朝目标画面移动。因为人脸的核心特征始终锚定在最初的照片上，哪怕视频拉得再长，人脸也不会变质，同时前一帧的动作还能平滑连贯地传给下一帧。

为了把速度推到极致，团队还搞了一套异构蒸馏框架。他们把多步流匹配教师模型的知识，通过信噪比对齐的时间变换函数，硬生生压缩进只能走单步的布朗桥学生模型里。再配合针对音频的引导机制，即便只跑一步前向计算，口型也能扣得严丝合缝。

速度快了千倍，但身段确实还不够软

从海外博主的上手体验来看，LeapTalk 最吓人的地方就是速度。相比社区里常见的 Hello 3 或者 Echo Mimic，它的延迟降低了数千倍，在 H200 上的极限帧率达到 200 FPS，堪称目前市面上跑得最快的说话人生成器。

团队目前已经在项目主页开放了代码和本地运行教程，开发者可以直接拉下来在本地部署测试。

不过，速度放飞的代价是动态表现还显生硬。评测视频里可以看到，生成的头像在说话时肢体和面部显得比较紧绷僵硬，灵动程度和最前沿的慢速数字人模型相比依然有肉眼可见的差距。

为什么重要

对开发者和互动应用来说，200 FPS 的意义绝不只是播放流畅，而是把交互延迟压缩到了极致。在 AI 客服、实时同传播报、游戏 NPC 对话这类场景里，过去的数字人往往要让用户等上几秒才能出画面，而单步流式输出让「声音刚落、人脸立刻开口」变成了现实。

从行业演进来看，LeapTalk 最聪明的地方是摆脱了对噪声去噪的执念。把数据传输的起点从无意义的高斯噪声换成真实参考图，直接避开了漫长的去噪链条和自回归累积的误差，为超低延迟的视频生成指明了新方向。

我们认为，虽然它现在的动作质感更偏向「能看且极快」的实用工具，还算不上以假乱真，但姿态与表情的丰富度完全可以通过后续的控制模块来迭代。在数字人实时化的赛道上，它已经把最重要的延迟大门彻底踹开了。