跳到正文
IFAI

AIGC

NVIDIA 联手 Black Forest Labs:FLUX.1 Kontext 获 TensorRT 加速

首次发布 传播指数 40

NVIDIA 宣布为 Black Forest Labs 的图像编辑模型 FLUX.1 Kontext [dev] 提供 TensorRT 加速。通过量化将模型体积压缩至 12GB(FP8)和 7GB(FP4),推理性能提升超 2 倍,创作者在本地 RTX 显卡上即可靠自然语言轻松修图。

NVIDIA 联手 Black Forest Labs:FLUX.1 Kontext 获 TensorRT 加速
图:blogs.nvidia.com

如果你用 AI 做过图,大概都经历过这种折磨:想给画里的人换件衣服,或者让同一个角色换个姿势,往往要开着 ComfyUI 连出一张像电路图一样复杂的节点,还要反复画遮罩、垫深度图或套多个 ControlNet。

现在 Black Forest Labs 和 NVIDIA 想把这套繁琐的流程彻底拆掉。双方联合对图像生成模型 FLUX.1 Kontext [dev] 进行了深度优化,并在 Hugging Face 上放出了模型权重与 TensorRT 加速版本。

一句话搞定局部修改与角色一致

Black Forest Labs 在 5 月首次公布了 FLUX.1 Kontext 系列。它的核心变化,在于把图像生成和基于自然语言的图像编辑合到了同一个模型里。

这个模型支持直接输入参考图加文字提示词,不再强求用户去微调模型,也不用做复杂的边缘图或深度图提取。

用户可以直接指着参考图里的某个元素用日常语言修改,同时保留其他区域不动。更实用的是,它能在不同场景和角度下保持角色的长相和特征一致,还能直接把参考图的风格迁移到新画面中。

目前这个模型已经能在 ComfyUI 和 Black Forest Labs 的在线 Playground 里使用。NVIDIA 还计划在 8 月份推出对应的 NIM 微服务版本。

显存从 24GB 砍到 7GB,速度翻倍

做图模型最大的门槛向来是硬件。FLUX.1 Kontext [dev] 原始的 BF16 权重需要吃掉 24GB 显存,基本上把绝大多数普通消费级显卡拒之门外。

这次 NVIDIA 做的核心工作就是瘦身和提速。他们通过 TensorRT 优化,让推理速度相比原始 PyTorch 环境提升了两倍以上。

在显存方面,NVIDIA 拿出了两档量化方案。针对 GeForce RTX 40 系列的 FP8 版本,显存需求直接腰斩到 12GB;而针对 GeForce RTX 50 系列的 FP4 版本,借助一种叫 SVDQuant 的新方法,在保留画面画质的前提下,把模型体积直接压缩到了 7GB。

这意味着只要一张中端显卡,创作者就能在本地把这套原本属于工作站级别的上下文生图流程跑起来。

为什么重要

我们认为,这一步最切中要害的地方,是把文生图从抽卡玩具真正推向了可用工具。

过去文生图最让人头疼的就是不可控。改一个词,整张图推倒重来;想要局部微调,又得堆叠一大堆辅助工具,学习门槛极高。FLUX.1 Kontext 这种在同一个模型里原生理解图文上下文的做法,让编辑逻辑变得和修图软件一样直观。

对创作者和独立开发者来说,显存降到 12GB 甚至 7GB,意味着不用再为云端算力买单,在本地电脑上就能流畅做连续分镜或电商物料迭代。如果你手头有 RTX 40 或 50 系显卡,现在就非常值得去 ComfyUI 里试一试。

从行业来看,这看起来也是开源模型反击闭源工具的一记重拳。Midjourney 等云端平台一直把控着商业设计流程,而一旦开源阵营在本地实现了高质量、低延迟的角色一致性和局部重绘,闭源工具的壁垒会被进一步削弱。

不过隐患依然存在。极度压缩的 FP4 版本在复杂构图或极端光影下,生成细节是否真能完全媲美全精度,还需要社区大量实际测试。但至少,NVIDIA 用工程手段把前沿模型的本地运行门槛砸到了大众消费线以内。

来源 (1)

  1. [1]
    blogs.nvidia.com(在新标签页打开)原文blogs.nvidia.com

每日 AI 内容精选