Wan Streamer 0.3 釋出：虛擬角色支援自然語言即時動作控制

過去幾週看各種 AI 虛擬人，你大概早就習慣了它們那種「半身端坐、眼珠微動、嘴型對齊」的固定姿態。看著確實挺像那麼回事，但只要多聊兩句，就會發現對方就像被定身在攝像頭前，除了動動嘴皮子，什麼動作都做不了。

開源社群裡備受關注的 Wan Streamer 釋出了 0.3 版本，試圖打破這種侷限。

之前的 0.1 和 0.2 版本已經解決了即時視訊通話裡的口型同步、視線對齊、點頭以及微表情，但畫面基本被鎖在半身或肖像鏡頭裡。這次的 0.3 版本更進一步，讓虛擬角色可以直接聽懂自然語言指令，並在畫面裡做出具體的身體動作，與周圍環境產生互動。

目前團隊釋出了題為《Video = World + Event Stream》的技術論文與演示頁面。

把影片拆成「世界」與「事件流」

讓 AI 影片角色既能即時對話又能隨時動起來，最難的地方在於畫面容易崩壞，比如一抬手衣服花紋就變了，或者轉個頭背景就換了房間。

Wan Streamer 0.3 給出的解法很乾脆：把整段影片強行拆成兩個部分，分別叫「世界」和「事件流」。

所謂「世界」，就是那些在長時間裡應該保持一致的東西，比如角色的長相外觀、身處的房間、整體視覺風格和背景基調。

而「事件流」則專門裝那些隨時間流逝不斷變化的內容，包括角色說的話、身體動作、鏡頭運鏡以及環境裡的偶發事件。在實際對話時，使用者的攝像頭畫面、麥克風收到的聲音以及輸入的文字，全都會直接併入這條事件流中。

這樣一來，普通的影片素材就能直接拿來當訓練資料：模型先鎖定世界設定，再沿著時間線學習接下來會發生什麼。

括號裡的自然語言動作指令

在互動體驗上，0.3 版本最直觀的變化是用自然語言交織控制對話與行為。

在模型的輸出格式裡，動作直接被寫在括號裡，和臺詞混排在一起。例如「（伸手到草叢中拾起一片綠葉）看看我發現了什麼」，或者「（捂住嘴，露出驚訝的表情）我沒想到會這樣」。

括號裡可以裝入任何能夠用語言描述的行為，比如伸手拿東西、朝聲音方向轉頭、改變身體姿勢或者做出情緒反應。

演示中，使用者發出「用手指比一個耶的手勢」「把雙手放在腰上」「整理一下你的頭髮」「看向右邊」「低頭看地板」等指令，角色都能一邊回應一邊立刻做出對應動作。

因為動作描述和語音內容共享同一條事件流，它們的發生時機是由模型端到端共同學習並渲染出來的，而不是傳統管線裡先把語音生成出來、再去外掛動作捕捉或後期拼接。官方特別提到，演示展示的是包含網路耗時在內的真實端到端延遲，沒有做任何加速或剪輯重定幀。

為什麼重要

我們認為，Wan Streamer 0.3 最聰明的地方，在於它沒有繼續在「外掛骨骼驅動」或「事後影片重繪」這兩條老路上死磕，而是直接把物理動作視作與文字、語音同等地位的模態事件。

把影片統一抽象為「世界設定」加「連續事件流」，不僅在理論上解決了長影片生成中角色與背景容易漂移的頑疾，更讓普通影片素材無需複雜骨骼標定就能直接參與預訓練。

對於做虛擬陪伴、遊戲 NPC 或者互動直播的團隊來說，這種互動形態基本指明瞭下一步的方向。以往要做一個能聊能動的數字人，需要把大語言模型、語音合成、動作捕獲庫和渲染引擎全拼在一起，工程鏈路極長，延遲更是很難壓進即時全雙工。端到端即時生成影片與音訊，能把整套架構壓縮得極其緊湊。

不過對於普通開發者和使用者來說，現在還不到上手部署的時候。團隊目前僅放出了技術論文和展示頁面，模型權重和完整程式碼並未同步開放。離真正能在消費級顯示卡上跑起全雙工端到端影片互動，顯然還有工程最佳化和計算成本兩座大山要跨過。