NVIDIA 推出 SoL-Refiner:仅需一步去噪提至 4K,视频生成提速 27 倍
NVIDIA 团队发布视频精炼模型 SoL-Refiner。它通过单步去噪将低分辨率视频直接提升至最高 4K,可搭配 MiniMax H3 等多种基础生成器。测试显示其能将 H3 生成提速达 27 倍,但增强后部分画面细节会与原视频略有差异。

生成高分辨率 AI 视频有多折磨人,跑过模型的人都懂。算力消耗跟着时空 token 数量指数级往上翻,想要一段清晰的 4K 片子,GPU 往往得吭哧吭哧算上好几分钟。
业内通常的折中方案是先生成低清草稿,再用精炼模型(Refiner)做多步采样提升画质。但问题是,传统的精炼本身也是个多步骤的去噪过程,第二阶段又成了一个新的性能瓶颈。
NVIDIA Research 的高效 AI 团队与新加坡实验室拿出了一个极具杀伤力的方案:SoL-Refiner。它的全称是光速单步精炼模型(Speed-of-Light One-Step Refinement),核心绝活就一句话:只做一次去噪,就把低清视频拉到最高 4K 分辨率。
5 秒出片:把生成时间从两分半压到几秒
单步精炼最直观的收益就是速度。根据 NVIDIA 放出的实测数据,在 GB200 GPU 上生成一段 5 秒、1344×768 分辨率、24 帧的视频,如果用目前顶尖的开源视频模型 MiniMax H3 直接全分辨率渲染,单卡需要耗费 152.3 秒。
而换成两阶段流水线后,第一阶段先跑 896×512 的低清草稿,用时 4.06 秒;紧接着 SoL-Refiner 进行单步精炼,只用 1.56 秒。整个端到端耗时被生生压缩到 5.64 秒,端到端加速比达到了惊人的 27.03 倍。
在单张 H100 上的表现同样抢眼。配合 35 步的 Cosmos-Nano 生成器,它能带来 2.81 倍的速度提升;在另一项对比中,原本需要 272.69 秒的高清生成,通过低清搭配 SoL-Refiner 缩短到了 78.71 秒。
更关键的是,SoL-Refiner 具备模型无关(Model-agnostic)的特性。除了 MiniMax H3 和自家的 Cosmos,它同样可以搭配阿里 Wan 等第三方主流视频生成模型使用。
锐利有余,但它有一点「脑补」倾向
能做到单步出 4K,背后靠的是一套综合技术组合拳。NVIDIA 在论文中披露,他们结合了高分辨率持续训练、基于帧的强化学习后训练(RL post-training),以及支持双向和流式推理的单步分布匹配蒸馏机制。
不过,天下没有免费的午餐。有先行体验的评测指出,SoL-Refiner 固然让画面羽毛、高光和运动细节变得更加锐利丰富,但它并不是一个百分之百忠实还原原本画面的超分辨率工具。
说白了,它在拉升画质时会根据上下文「重新脑补」部分细节。例如在建筑和谷仓的样例中,经过精炼后的结构纹理与原视频相比已经发生了明显的细微改变。如果你需要的是严格还原输入的影视级修复,这种自由发挥可能会带来困扰。
目前研究团队已经在项目主页开放了代码与本地运行指引。项目借鉴了此前 LTX Refiner 的设计思路,但通过自研的蒸馏训练实现了真正的单步跨越。
为什么重要
高分辨率视频生成一直卡在「算得起」和「等得起」这两座大山之间。过去创作者想要 4K 质量,要么老老实实买昂贵的算力集群硬扛几分钟,要么忍受多步精炼带来的漫长等待。SoL-Refiner 把端到端渲染推进到了 5 秒量级,这意味着高画质视频生成的实时交互和批量制作,终于有了真正落地的可能。
我们认为 NVIDIA 这一步走得相当狡黠。它没有去重新训练一个动辄百亿参数的大底模,而是把精力集中在最卡脖子的输出后处理上。这种即插即用的解耦设计,既讨好了开源社区,又直接盘活了现有的 MiniMax H3、Wan 等基础模型。
当然,它的脑补特质决定了它暂时还不适合那些对像素一致性要求严苛的工种,比如精确特效合成或工业模拟。但对于绝大多数追求画质冲击力、动态质感和生产效率的内容创作者来说,用少许细节重构换来 27 倍的极速飞跃,这笔账怎么算都太划算了。
来源 (1)
- nvlabs.github.io(在新标签页打开)原文nvlabs.github.io