跳到正文
IFAI

AI科研

Wan-Streamer v0.2 釋出:即時影片互動解析度翻倍,延遲仍為 200ms

首次發布 傳播指數 36

研究團隊釋出 Wan-Streamer v0.2,將端到端音影片互動模型的解析度從 192x336 提升至 640x368,同時保持 25 FPS 下約 200 毫秒的模型延遲。它通過單卡感知加多卡並行的架構,讓中景虛擬形象的手勢和周圍環境在即時對話中保持清晰。

Wan-Streamer v0.2 釋出:即時影片互動解析度翻倍,延遲仍為 200ms
圖:arxiv.org

視訊通話裡對面坐著一個 AI 虛擬人,你嘆一口氣,它立刻能察覺到你很累;你讓它看鏡頭,它能一秒報出你穿粉色衣服、戴著黑框眼鏡。更關鍵的是,它不再是一張模糊的大頭貼,而是能看清全身動作和周圍房間環境的中景畫面。

研究團隊公佈了 Wan-Streamer v0.2 的技術論文與演示。作為原生流式、端到端音影片互動模型的最新升級,它在完全不增加互動延遲的前提下,把即時影片畫質拉高了一大截。

畫質翻倍,但反應時間一毫秒沒多

在之前的 v0.1 版本里,Wan-Streamer 只能做到 192×336 的超低解析度,畫面基本侷限在近景大頭照,動作稍微大一點就糊成一片。

這次 v0.2 直接把解析度推到了 640×368,幀率依舊保持在 25 fps。更難得的是,模型側的處理延遲依然卡在 200 毫秒左右,如果加上 350 毫秒的雙向網路傳輸時間,端到端總互動延遲大概在 550 毫秒。演示中任何場景的預填充時間只有 0.5 秒左右,幾乎是話音剛落畫面就動了。

解析度提升帶來的直接好處,是鏡頭終於能往後拉了。現在的虛擬角色支援帶場景感的中景構圖,角色的坐姿、手勢、眼神流轉,甚至身後的牆壁紋理和桌上的小物件,在即時對話時都清晰可見。角色也不侷限於真人女生,還可以隨意切換成貓、嬰兒或者虛構奇幻角色。

動腦的和幹體力活的徹底分家

端到端生成高解析度影片的算力開銷非常嚇人,團隊能在不拖慢反應速度的情況下做到這一點,靠的是一套叫「思考者與執行者」(Thinker-Performer)的拆分架構。

簡單來說,他們把整個系統切成了動腦和幹體力活的兩撥人。單張 GPU 充當思考者,專門負責輕量、低延遲的流式感知,包括聽聲音、看畫面輸入,以及飛快更新語言狀態並構建快取。

真正耗費算力的高解析度影片去噪生成,則扔給了多張 GPU 組成的執行者叢集。團隊採用 Ulysses 風格的上下文並行,把長長的影片序列切碎分給多個卡同時算,再在組內彙總;而簡短的音訊潛變數則不用切片直接跑。思考者只需要把切片好的鍵值快取廣播給執行者,兩邊各司其職,正好把每一步計算卡進 160 毫秒的流式單元裡。

為什麼重要

我們認為,Wan-Streamer v0.2 最大的價值在於證明了端到端流式多模態模型完全能在不犧牲反應速度的情況下做高畫質晰度。過去市面上的數字人大多是拼接怪:大語言模型想好臺詞、文字轉語音生成聲音、再用另一套唇形同步演算法驅動畫面,鏈路極長且經常穿幫。Wan-Streamer 把文字、音訊和影片全部揉進同一個 Transformer 的因果時間線上,表現出來的反應自然度明顯高出一個檔次。

對使用者和開發者來說,這種中景互動意味著虛擬陪伴、線上客服或者遊戲 NPC 終於脫離了呆滯的大頭照形態,角色的肢體語言和環境互動變得真正可用。不過目前這項成果還只停留在論文和技術演示階段,並沒有正式開原始碼或開放公測介面。

看起來它的短板也很明顯:多 GPU 並行去噪的部署成本註定不低。如果未來要大規模商業化推向成千上萬個併發使用者,如何在保證 640 畫素和 200 毫秒延遲的同時把推理成本壓下來,才是它真正要面對的大考。

來源 (2)

  1. [1]
    arxiv.org(在新分頁開啟)原文arxiv.org
  2. [2]
    wan-streamer.com(在新分頁開啟)報導wan-streamer.com

每日 AI 內容精選