輝達釋出世界模型 SANA-WM:單張 5090 可 34 秒生成 1 分鐘影片
輝達釋出互動式世界模型 SANA-WM,僅 26 億引數即可將單張影像轉化為可鍵盤漫遊的 720p 影片。其蒸餾版本在單張 RTX 5090 上僅需 34 秒即可生成 1 分鐘片段。官方表示權重即將開源。

SANA-WM 是輝達開發的一個開源互動式世界模型,引數量只有 26 億(也有報道稱為 28 億),能讓你用一張靜態圖片、一段文字提示詞和鍵盤方向鍵,直接即時漫遊出一個可互動的虛擬空間。
它的核心用途是影片生成與世界構建。以往的世界模型往往體量龐大,動輒需要多卡叢集才能跑得動,而 SANA-WM 原生就面向 1 分鐘長影片生成設計,輸出規格為 720p 解析度。
它能做什麼
使用起來很簡單,你給它一張初始影像,再輸入一段文本描述,隨後按下鍵盤上的方向鍵。模型會根據你的按鍵輸入即時調整相機軌跡,把影像擴充套件成連續動作的影片。
視角控制支援第三人稱跟隨,也可以是第一人稱視角。更關鍵的是它的空間一致性:如果你在場景中轉頭把視線移開,之後再看回來,原先的環境細節依然保持一致,說明它對場景保留了明確的持久記憶。
在生成速度上,團隊提供了一個蒸餾變體。配合 NVFP4 量化,單張消費級 RTX 5090 顯示卡就可以在 34 秒內去噪生成一段完整的 60 秒 720p 影片片段。
根據官方測試,SANA-WM 在動作跟隨精度上超越了現有的開源基準,在視覺質量接近 LingBot-World 和 HY-WorldPlay 等工業級基線模型的同時,吞吐量提升了 36 倍。
怎麼做到的與開源情況
能跑在單卡上,主要得益於四個架構最佳化。它結合了門控 DeltaNet(GDN)與 Softmax 注意力的混合線性注意力機制,大幅降低了長序列的視訊記憶體開銷;搭配雙分支相機控制實現精確的 6 自由度軌跡跟蹤;再加上兩階段生成管線與專門的姿態標註管線。
訓練成本也控制得極低。團隊僅使用了約 21.3 萬個帶有相機姿態標註的公開影片片段,在 64 塊 H100 顯示卡上花費 15 天就完成了全流程訓練。
在開放程度上,輝達目前已經發布了論文。官方頁面表示模型權重與程式碼即將完全開源。
為什麼重要
對於遊戲開發者、虛擬模擬工程師或獨立創作者來說,這相當於把原本昂貴的世界模型部署成本直接打到了消費級顯示卡級別。如果你的工作涉及生成 3D 場景漫遊或遊戲原型驗證,非常值得在開源後第一時間上手測試。
我們認為,SANA-WM 最聰明的地方在於放棄了堆引數的蠻力路線,轉而通過線性注意力與蒸餾量化攻克推理吞吐瓶頸。它證明了不需要數千張顯示卡常駐運算,依靠緊湊架構同樣能在單張民用顯示卡上實現互動式世界生成。
來源 (1)
- arxiv.org(在新分頁開啟)原文arxiv.org