阿里釋出 StreamChar：單張 H100 即時流式生成全身數字人音影片

以前大家看到的很多數字人，說白了就是一張照片貼皮加對嘴型。一旦想讓角色站起來、動起來，甚至根據臺詞即時互動，系統往往撐不過兩分鐘：要麼嘴型和聲音越說越脫節，要麼角色長相在幾段生成後悄悄變了人。

阿里團隊公佈了數字人音影片生成框架 StreamChar。它最大的看點，是用一套解耦架構和記憶機制，在單張 H100 GPU 上跑出了全身角色的即時流式音影片生成。

把長程編排與短視窗去噪拆開

讓 AI 角色邊想邊說邊演，最難的地方在於既要即時低延遲，又要保證幾十秒甚至幾分鐘內角色不走樣。

以往的做法通常是分塊自迴歸生成，但這種方式只要有一幀稍微對不上，誤差就會層層放大。更麻煩的是，為了壓低延遲而採用的少步數蒸餾，往往會把畫面的細節和動作表現力直接砍掉一塊。

阿里的解法挺巧妙：把任務拆成兩截。前面由一個基於大語言模型（LLM）的編排器負責宏觀控制，結合臺詞和歷史上下文，算好幀對齊的音訊條件；後面則交給一個音影片聯合 DiT 模型，只負責在極短的時間視窗內做去噪生成。

為了不讓角色長相和發音越跑越偏，團隊加了兩個關鍵設計。一個是進度感知指標，在訓練生成展開時把區域性臺詞與音訊精準咬合；另一個是匯點塊記憶（sink-chunk memory），在長程生成裡立一個固定的視覺錨點，壓制身份漂移。

最後，他們通過兩階段蒸餾流程，先壓縮取樣步數，再在線上分塊 rollout 裡微調學生模型。這樣一來，系統終於能卡進嚴格的即時播放時延預算裡。

從大頭貼邁向全身角色

根據論文的實驗結果，StreamChar 在短片段和長程生成協議下，臺詞保真度、音影片同步和視覺畫質都拿到了不錯的平衡，最關鍵的是整套系統能在單張 H100 上實現即時流式運轉。

這意味著生成的物件不再侷限於只露臉的大頭貼，而是可以直接處理帶有肢體語言的全身角色。

如果這套技術落地，虛擬主播開播、AI 短劇批量出片，或是開放世界遊戲裡的 NPC 即時搭話，都可以直接灌入人設素材與臺詞文本，即時推流出來。

為什麼重要

我們認為，StreamChar 最聰明的地方不是硬堆引數，而是把架構邏輯理順了。長程的劇情編排和短程的畫素去噪本來就是兩種不同頻率的任務，把 LLM 拿來當導演排時間線、讓 DiT 當演員專心出畫面，比讓同一個擴散模型從頭抗到尾合理得多。

對行業來說，它給即時互動型數字人劃定了一條新的及格線：不能只動嘴皮子，還得兼顧全身一致性與單卡即時部署。以往許多所謂即時互動方案，背地裡往往需要龐大的叢集切片離線拼裝，StreamChar 把門檻壓縮到了單張 H100。

不過，目前這項研究還停留在論文階段，程式碼和權重是否會完全開放還是未知數。而且單張 H100 對個人創作者和獨立開發者來說，算力成本依然不算親民。但至少它證明了一條路：讓數字人有體態、有表情且不臉盲地即時播下去，在工程上已經完全走得通了。