SANA-Streaming 開源：RTX 5090 上跑滿 24 幀，一分鐘影片即時修改

想用 AI 給一段影片裡的人換件衣服、把晴天改成雨天，以往的流程大多是上傳素材、輸入提示詞，然後喝杯咖啡等上好幾分鐘。

如果影片一邊在螢幕上播放，AI 一邊就把下一幀修改完遞給你呢？

NVIDIA 開源了名為 SANA-Streaming 的即時影片編輯系統。這是一個僅有 20 億（2B）引數的擴散模型（DiT），專為一分鐘級別的高畫質影片即時修改而設計。

只要給一段原影片加一句文字指令，它就能在保留人物動作和原始背景結構的同時，即時替換指定的服裝、場景風格與物體。

邊播邊改，不用重新算整段影片

以往基於擴散模型的影片編輯，最讓人頭疼的是長序列計算。模型必須前瞻後顧整段影片，視訊記憶體分分鐘爆掉，根本談不上即時。

SANA-Streaming 換了一套混合架構。它把線性迴圈單元 Gated DeltaNet 和傳統的注意力機制交織在一起，既有緊湊的長程歷史記憶，又能看清當前畫面的區域性細節。

配合流式分塊生成和狀態快取技術，它不再一次性吃下整段長影片，而是像流水線一樣一段一段往前推。

為了防止影片改著改著畫面走樣，團隊還加入了迴圈反向正則化訓練。模型不僅要把原畫改成目標效果，還要能根據修改後的畫面反推出原圖。

通過這種雙向約束，影片裡的主體動作和未編輯區域被牢牢鎖定，避免了常見的畫面漂移和頻閃問題。

RTX 5090 上跑滿 24 幀

除了架構精巧，工程層面的榨乾算力同樣是看點。

論文通過運算元融合與混合精度量化，硬生生把這套系統塞進了單張消費級顯示卡。

在 RTX 5090 上，它跑 1280×704 解析度時，DiT 生成速度達到 58 FPS，整套端到端處理速度穩定在 24 FPS，跨過了即時影片播放的門檻。

目前 NVIDIA 已經在 GitHub 上公開了完整程式碼，Hugging Face 上也放出了雙向短影片模型與一分鐘長影片流式模型的權重。

開發者只要準備好對應的 PyTorch 環境，就能在本地直接執行 5 秒短片段或 1 分鐘長影片的流式編輯指令碼。

為什麼重要

對創作者來說，這把影片生成從開盲盒式的離線渲染，拉進了所見即所得的互動時代。換背景或改畫風就像拖動調色滑塊一樣直接，反饋是即時的。

對行業而言，它給影片大模型卷引數的狂熱降了降溫。SANA-Streaming 證明了只要混合記憶和推理管線設計得當，2B 級別的小模型不僅省視訊記憶體，還能跑出大模型給不了的高幀率。

我們認為 NVIDIA 這次做得很聰明。它沒有去拼那些宏大但不可控的文生影片概念，而是盯緊了影片二次編輯這個實際剛需，還順手幫自家的旗艦顯示卡秀了一把肌肉。

不過門檻依然擺在那裡。想要體驗原汁原味的 24 幀即時流式編輯，普通使用者依然需要頂級的單卡硬體；要走向大眾創作工具，還得看後續更輕量的量化方案落地。