跳到正文
IFAI

开源项目

英伟达发布 Open H3 Regenerate 2K:3 步将 AI 视频重绘至 2K,最高支持 4K

首次发布 传播指数 48

英伟达推出开源视频增强工具 Open H3 Regenerate 2K,可将 MiniMax H3 等模型生成的低分辨率视频重绘至 2K,最高支持 4K 输出。它仅需 3 步扩散即可补足画面细节,支持最长 15 秒片段,相关代码与模型已全盘开源。不过重绘过程可能会轻微改变人脸等局部细节。

图:nvlabs.github.io

Open H3 Regenerate 2K 是英伟达开源的一款视频超分辨率增强工具,专门用来把低分辨率的 AI 生成视频重绘提升到 2K 甚至 4K。

目前顶级的开源视频模型 MiniMax H3 采用的是两阶段生成方案:先在低分辨率生成视频草稿,再通过官方 API 重新绘制细节。但官方的重绘模型并不开源,大家在本地没办法跑完整的超分流程。

英伟达开源的这个工具就是为了补齐这块短板,让你在自己的机器上也能完成高质量的视频重绘。

它是怎么把画面变清晰的

传统的超分辨率算法只是把画面拉大并平滑像素,往往没办法真正补充细节。Open H3 Regenerate 2K 走的是扩散重绘路线,不仅把分辨率撑大,还会重新绘制皮肤纹理、毛发和织物细节。

它的核心机制非常精炼。工具冻结了原有的 H3 主干网络和视频 VAE,只训练了一个轻量级的 Refiner LoRA,同时整合了 FL2VA Turbo 和 LMS Sharp 适配器。

在生成过程中,它先用 3D 卷积网络在潜空间直接放大画面,省去了反复解码和编码的开销。随后加入适量噪声,仅用 3 步扩散去噪,就能在全分辨率下把所有细节绘制出来。

得益于 SoL-Engine 稀疏注意力和快速 VAE 解码器,在单张 B200 显卡上,处理一段 5 秒的 2K 视频只需要 22.45 秒,比以往的 87 秒大幅提速。

不挑模型,单次生成支持到 4K

比起官方只支持 768P 输入和 2K 输出的限制,这个开源版本更具通用性。

输入端不仅可以接受 384P、512P 或 768P 等各种规格的 H3 草稿,也能直接兼容 LTX-2 和 SANA-Video 等其他视频模型生成的片段。

输出端支持从 768P、1080P 一路拉到 2K 和 4K。它能在单次推理中直接处理长达 5 到 15 秒(最多 360 帧)的连续视频,中间不需要分段切片。

在测试基准 RefinerBench-150 上,它的美学质量和主体一致性得分超过了官方闭源 API。在 200 组盲测对比中,有 87% 的评审更倾向于它的重绘效果。

不过在实际体验中也有妥协。因为它本质上是重新绘制画面,在生成过程中可能会对人脸等关键特征产生细微改动,无法保证百分之百完全还原原始草稿。

项目已经在 GitHub 上完整放出了代码、权重和本地运行教程,开发者可以直接拉取部署。

为什么重要

对于在本地部署开源视频模型的创作者和团队来说,这基本补齐了开源视频工作流的最后一块拼图。过去本地生成的低分辨率视频总显得粗糙,如果想变清晰就只能调用云端商业接口,成本高且受限制。

英伟达这套方案聪明在只用 3 步扩散和单个 LoRA 就达到了高画质,推理速度完全可以落地。尽管重绘人脸时可能会有点走样,但如果你用来处理大场景、自然风光或科幻特效,它带来的画质提升非常立竿见影,值得立刻在本地工作流里部署一试。

来源 (1)

  1. [1]
    nvlabs.github.io(在新标签页打开)原文nvlabs.github.io

每日 AI 内容精选