LeapTalk 實現單步生成：數字人口播達 200 FPS，徹底解決漂移

做過數字人對話或即時播報的人都知道，現有的數字人方案總讓人抓狂：畫質細膩的擴散模型往往需要幾十步去噪，延遲高到沒法做即時互動；跑得快的方案播著播著，人臉又會漸漸走樣變形。

研究團隊公佈的全新框架 LeapTalk，就是衝著這個矛盾來的。輸入任意一張人物參考照片和一段音訊，它就能基本即時輸出口型同步的播報影片。在一塊 H200 GPU 上，它的生成速度甚至飆到了每秒 200 幀（200 FPS）。

用「布朗橋」錨定人臉，徹底甩掉多步去噪

傳統的擴散生成總是從一片隨機噪聲出發，反覆計算好幾步才能還原出畫面，這在即時流式場景下幾乎判了死刑。而自迴歸方法按時序一幀一幀推，前一幀的微小誤差會無限累積，時間一長就會出現嚴重的「身份漂移」。

LeapTalk 的破局點在於換掉了生成路徑。它沒有走常規的噪聲到資料路線，而是引入了基於布朗橋的資料到資料傳輸架構。

說白了，它讓每一幀的生成都從那張固定的參考圖出發，朝目標畫面移動。因為人臉的核心特徵始終錨定在最初的照片上，哪怕影片拉得再長，人臉也不會變質，同時前一幀的動作還能平滑連貫地傳給下一幀。

為了把速度推到極致，團隊還搞了一套異構蒸餾框架。他們把多步流匹配教師模型的知識，通過訊雜比對齊的時間變換函式，硬生生壓縮排只能走單步的布朗橋學生模型裡。再配合針對音訊的引導機制，即便只跑一步前向計算，口型也能扣得嚴絲合縫。

速度快了千倍，但身段確實還不夠軟

從海外博主的上手體驗來看，LeapTalk 最嚇人的地方就是速度。相比社群裡常見的 Hello 3 或者 Echo Mimic，它的延遲降低了數千倍，在 H200 上的極限幀率達到 200 FPS，堪稱目前市面上跑得最快的說話人生成器。

團隊目前已經在專案主頁開放了程式碼和本地執行教程，開發者可以直接拉下來在本地部署測試。

不過，速度放飛的代價是動態表現還顯生硬。評測影片裡可以看到，生成的頭像在說話時肢體和麵部顯得比較緊繃僵硬，靈動程度和最前沿的慢速數字人模型相比依然有肉眼可見的差距。

為什麼重要

對開發者和互動應用來說，200 FPS 的意義絕不只是播放流暢，而是把互動延遲壓縮到了極致。在 AI 客服、即時同傳播報、遊戲 NPC 對話這類場景裡，過去的數字人往往要讓使用者等上幾秒才能出畫面，而單步流式輸出讓「聲音剛落、人臉立刻開口」變成了現實。

從行業演進來看，LeapTalk 最聰明的地方是擺脫了對噪聲去噪的執念。把資料傳輸的起點從無意義的高斯噪聲換成真實參考圖，直接避開了漫長的去噪鏈條和自迴歸累積的誤差，為超低延遲的影片生成指明瞭新方向。

我們認為，雖然它現在的動作質感更偏向「能看且極快」的實用工具，還算不上以假亂真，但姿態與表情的豐富度完全可以通過後續的控制模組來迭代。在數字人即時化的賽道上，它已經把最重要的延遲大門徹底踹開了。