NVIDIA 推出 SoL-Refiner:僅需一步去噪提至 4K,影片生成提速 27 倍
NVIDIA 團隊釋出影片精煉模型 SoL-Refiner。它通過單步去噪將低解析度影片直接提升至最高 4K,可搭配 MiniMax H3 等多種基礎生成器。測試顯示其能將 H3 生成提速達 27 倍,但增強後部分畫面細節會與原影片略有差異。

生成高解析度 AI 影片有多折磨人,跑過模型的人都懂。算力消耗跟著時空 token 數量指數級往上翻,想要一段清晰的 4K 片子,GPU 往往得吭哧吭哧算上好幾分鐘。
業內通常的折中方案是先生成低清草稿,再用精煉模型(Refiner)做多步取樣提升畫質。但問題是,傳統的精煉本身也是個多步驟的去噪過程,第二階段又成了一個新的效能瓶頸。
NVIDIA Research 的高效 AI 團隊與新加坡實驗室拿出了一個極具殺傷力的方案:SoL-Refiner。它的全稱是光速單步精煉模型(Speed-of-Light One-Step Refinement),核心絕活就一句話:只做一次去噪,就把低清影片拉到最高 4K 解析度。
5 秒出片:把生成時間從兩分半壓到幾秒
單步精煉最直觀的收益就是速度。根據 NVIDIA 放出的實測資料,在 GB200 GPU 上生成一段 5 秒、1344×768 解析度、24 幀的影片,如果用目前頂尖的開源影片模型 MiniMax H3 直接全解析度渲染,單卡需要耗費 152.3 秒。
而換成兩階段流水線後,第一階段先跑 896×512 的低清草稿,用時 4.06 秒;緊接著 SoL-Refiner 進行單步精煉,只用 1.56 秒。整個端到端耗時被生生壓縮到 5.64 秒,端到端加速比達到了驚人的 27.03 倍。
在單張 H100 上的表現同樣搶眼。配合 35 步的 Cosmos-Nano 生成器,它能帶來 2.81 倍的速度提升;在另一項對比中,原本需要 272.69 秒的高畫質生成,通過低清搭配 SoL-Refiner 縮短到了 78.71 秒。
更關鍵的是,SoL-Refiner 具備模型無關(Model-agnostic)的特性。除了 MiniMax H3 和自家的 Cosmos,它同樣可以搭配阿里 Wan 等第三方主流影片生成模型使用。
銳利有餘,但它有一點「腦補」傾向
能做到單步出 4K,背後靠的是一套綜合技術組合拳。NVIDIA 在論文中披露,他們結合了高解析度持續訓練、基於幀的強化學習後訓練(RL post-training),以及支援雙向和流式推理的單步分佈匹配蒸餾機制。
不過,天下沒有免費的午餐。有先行體驗的評測指出,SoL-Refiner 固然讓畫面羽毛、高光和運動細節變得更加銳利豐富,但它並不是一個百分之百忠實還原原本畫面的超解析度工具。
說白了,它在拉昇畫質時會根據上下文「重新腦補」部分細節。例如在建築和穀倉的樣例中,經過精煉後的結構紋理與原影片相比已經發生了明顯的細微改變。如果你需要的是嚴格還原輸入的影視級修復,這種自由發揮可能會帶來困擾。
目前研究團隊已經在專案主頁開放了程式碼與本地執行指引。專案借鑑了此前 LTX Refiner 的設計思路,但通過自研的蒸餾訓練實現了真正的單步跨越。
為什麼重要
高解析度影片生成一直卡在「算得起」和「等得起」這兩座大山之間。過去創作者想要 4K 質量,要麼老老實實買昂貴的算力叢集硬扛幾分鐘,要麼忍受多步精煉帶來的漫長等待。SoL-Refiner 把端到端渲染推進到了 5 秒量級,這意味著高畫質影片生成的即時互動和批次製作,終於有了真正落地的可能。
我們認為 NVIDIA 這一步走得相當狡黠。它沒有去重新訓練一個動輒百億引數的大底模,而是把精力集中在最卡脖子的輸出後處理上。這種即插即用的解耦設計,既討好了開源社群,又直接盤活了現有的 MiniMax H3、Wan 等基礎模型。
當然,它的腦補特質決定了它暫時還不適合那些對畫素一致性要求嚴苛的工種,比如精確特效合成或工業模擬。但對於絕大多數追求畫質衝擊力、動態質感和生產效率的內容創作者來說,用少許細節重構換來 27 倍的極速飛躍,這筆賬怎麼算都太划算了。
來源 (1)
- nvlabs.github.io(在新分頁開啟)原文nvlabs.github.io