跳到正文
IFAI

AI科研

數字人模型 FlowAct-R1 釋出:延遲 1.5 秒,支援 25fps 即時無限長直播

首次發布 傳播指數 36

研究團隊推出互動式數字人模型 FlowAct-R1,支援流式生成無限時長的數字人影片。它採用自迴歸架構與記憶機制,實現 25fps 的 480p 即時生成,首幀延遲約 1.5 秒且動作自然。這意味著低延遲數字人直播和即時互動邁出了關鍵一步。

圖:grisoon.github.io

如果你看過現在的數字人帶貨,大概很熟悉那種尷尬:主播要麼像個設定好動作的木偶在機械迴圈,要麼你發一條彈幕提問,對方要愣上好幾秒才能接話。

算力吃緊和動作漂移,一直是即時數字人邁不過去的坎。現在,研究團隊推出了互動式數字人模型 FlowAct-R1,試圖徹底打破這個僵局。

第三方報道稱該成果出自位元組團隊。從公佈的資料來看,FlowAct-R1 實現了 25fps 的 480p 即時流式影片生成,首幀延遲(TTFF)僅約 1.5 秒,而且支援不限時長的無限生成。

在人工偏好評測中,它在即時流式、無限時長和動作自然度三個維度上均超過了現有的 SOTA 方法。

把重型模型改造成連環打工人

讓高質量影片模型即時跑起來,技術上並不容易。以往基於全注意力機制的 DiT 模型雖然畫質好,但推理速度慢,根本無法做即時對話。

FlowAct-R1 的核心思路是改造架構。研究團隊通過自迴歸自適應,把基礎的 DiT 轉換成流式自迴歸模型,並配合多階段擴散蒸餾,大幅削減了生成步驟。

口型對不上、身體動作僵硬是數字人的老毛病。團隊引入了音訊與動作的聯合微調,讓數字人在聽到語音輸入時,不僅能對齊唇形,還能做出自然的肢體動作。

更棘手的問題是長影片崩潰:很多模型生成幾分鐘後,人臉就會變形。FlowAct-R1 在推理端搭建了一套結構化記憶庫。

這套記憶庫拆成了參考記憶、長短期記憶和去噪流。配合分塊自迴歸生成和記憶精煉,模型生成再久也不會忘記自己原來的長相和姿勢,從而實現了真正意義上的無限時長生成。

為什麼重要

我們認為,FlowAct-R1 的突破不在於畫質上限有多高,而在於它切準了即時互動的工程痛點。

480p 的解析度聽起來並不驚豔,但它在 25fps 下把首幀延遲壓到了 1.5 秒。在手機螢幕、電商直播或即時通訊介面裡,流暢無頓挫的即時反應遠比一張靜態高精度的臉更重要。

對直播帶貨、AI 客服和虛擬陪伴領域來說,這意味著數字人終於從「提前渲染好的錄播影片」走向了「真能聽懂並立刻反應的即時互動」。創作者不用再花幾個小時預渲染成片,接入系統就能直接開播。

對行業而言,它會倒逼現有的數字人方案全面轉向流式生成。以前比拼的是誰的靜態特寫更逼真,以後比拼的則是誰的延遲更低、長時間執行更穩定。

當然,侷限也客觀存在。目前展示的 480p 規格如果放到大屏端使用仍顯單薄,而且真正面對大規模併發直播時,GPU 的部署成本究竟有多高,依然需要實際商用場景的檢驗。

來源 (1)

  1. [1]
    grisoon.github.io(在新分頁開啟)原文grisoon.github.io

每日 AI 內容精選