輝達釋出 Open H3 Regenerate 2K:3 步將 AI 影片重繪至 2K,最高支援 4K
輝達推出開源影片增強工具 Open H3 Regenerate 2K,可將 MiniMax H3 等模型生成的低解析度影片重繪至 2K,最高支援 4K 輸出。它僅需 3 步擴散即可補足畫面細節,支援最長 15 秒片段,相關程式碼與模型已全盤開源。不過重繪過程可能會輕微改變人臉等區域性細節。
Open H3 Regenerate 2K 是輝達開源的一款影片超解析度增強工具,專門用來把低解析度的 AI 生成影片重繪提升到 2K 甚至 4K。
目前頂級的開源影片模型 MiniMax H3 採用的是兩階段生成方案:先在低解析度生成影片草稿,再通過官方 API 重新繪製細節。但官方的重繪模型並不開源,大家在本地沒辦法跑完整的超分流程。
輝達開源的這個工具就是為了補齊這塊短板,讓你在自己的機器上也能完成高質量的影片重繪。
它是怎麼把畫面變清晰的
傳統的超解析度演算法只是把畫面拉大並平滑畫素,往往沒辦法真正補充細節。Open H3 Regenerate 2K 走的是擴散重繪路線,不僅把解析度撐大,還會重新繪製皮膚紋理、毛髮和織物細節。
它的核心機制非常精煉。工具凍結了原有的 H3 主幹網路和影片 VAE,只訓練了一個輕量級的 Refiner LoRA,同時整合了 FL2VA Turbo 和 LMS Sharp 介面卡。
在生成過程中,它先用 3D 卷積網路在潛空間直接放大畫面,省去了反覆解碼和編碼的開銷。隨後加入適量噪聲,僅用 3 步擴散去噪,就能在全解析度下把所有細節繪製出來。
得益於 SoL-Engine 稀疏注意力和快速 VAE 解碼器,在單張 B200 顯示卡上,處理一段 5 秒的 2K 影片只需要 22.45 秒,比以往的 87 秒大幅提速。
不挑模型,單次生成支援到 4K
比起官方只支援 768P 輸入和 2K 輸出的限制,這個開源版本更具通用性。
輸入端不僅可以接受 384P、512P 或 768P 等各種規格的 H3 草稿,也能直接相容 LTX-2 和 SANA-Video 等其他影片模型生成的片段。
輸出端支援從 768P、1080P 一路拉到 2K 和 4K。它能在單次推理中直接處理長達 5 到 15 秒(最多 360 幀)的連續影片,中間不需要分段切片。
在測試基準 RefinerBench-150 上,它的美學質量和主體一致性得分超過了官方閉源 API。在 200 組盲測對比中,有 87% 的評審更傾向於它的重繪效果。
不過在實際體驗中也有妥協。因為它本質上是重新繪製畫面,在生成過程中可能會對人臉等關鍵特徵產生細微改動,無法保證百分之百完全還原原始草稿。
專案已經在 GitHub 上完整放出了程式碼、權重和本地執行教程,開發者可以直接拉取部署。
為什麼重要
對於在本地部署開源影片模型的創作者和團隊來說,這基本補齊了開源影片工作流的最後一塊拼圖。過去本地生成的低解析度影片總顯得粗糙,如果想變清晰就只能呼叫雲端商業介面,成本高且受限制。
輝達這套方案聰明在只用 3 步擴散和單個 LoRA 就達到了高畫質,推理速度完全可以落地。儘管重繪人臉時可能會有點走樣,但如果你用來處理大場景、自然風光或科幻特效,它帶來的畫質提升非常立竿見影,值得立刻在本地工作流裡部署一試。
來源 (1)
- nvlabs.github.io(在新分頁開啟)原文nvlabs.github.io