NVIDIA 聯手 Black Forest Labs:FLUX.1 Kontext 獲 TensorRT 加速
NVIDIA 宣佈為 Black Forest Labs 的影像編輯模型 FLUX.1 Kontext [dev] 提供 TensorRT 加速。通過量化將模型體積壓縮至 12GB(FP8)和 7GB(FP4),推理效能提升超 2 倍,創作者在本地 RTX 顯示卡上即可靠自然語言輕鬆修圖。

如果你用 AI 做過圖,大概都經歷過這種折磨:想給畫裡的人換件衣服,或者讓同一個角色換個姿勢,往往要開著 ComfyUI 連出一張像電路圖一樣複雜的節點,還要反覆畫遮罩、墊深度圖或套多個 ControlNet。
現在 Black Forest Labs 和 NVIDIA 想把這套繁瑣的流程徹底拆掉。雙方聯合對影像生成模型 FLUX.1 Kontext [dev] 進行了深度最佳化,並在 Hugging Face 上放出了模型權重與 TensorRT 加速版本。
一句話搞定區域性修改與角色一致
Black Forest Labs 在 5 月首次公佈了 FLUX.1 Kontext 系列。它的核心變化,在於把影像生成和基於自然語言的影像編輯合到了同一個模型裡。
這個模型支援直接輸入參考圖加文字提示詞,不再強求使用者去微調模型,也不用做複雜的邊緣圖或深度圖提取。
使用者可以直接指著參考圖裡的某個元素用日常語言修改,同時保留其他區域不動。更實用的是,它能在不同場景和角度下保持角色的長相和特徵一致,還能直接把參考圖的風格遷移到新畫面中。
目前這個模型已經能在 ComfyUI 和 Black Forest Labs 的線上 Playground 裡使用。NVIDIA 還計劃在 8 月份推出對應的 NIM 微服務版本。
視訊記憶體從 24GB 砍到 7GB,速度翻倍
做圖模型最大的門檻向來是硬體。FLUX.1 Kontext [dev] 原始的 BF16 權重需要吃掉 24GB 視訊記憶體,基本上把絕大多數普通消費級顯示卡拒之門外。
這次 NVIDIA 做的核心工作就是瘦身和提速。他們通過 TensorRT 最佳化,讓推理速度相比原始 PyTorch 環境提升了兩倍以上。
在視訊記憶體方面,NVIDIA 拿出了兩檔量化方案。針對 GeForce RTX 40 系列的 FP8 版本,視訊記憶體需求直接腰斬到 12GB;而針對 GeForce RTX 50 系列的 FP4 版本,藉助一種叫 SVDQuant 的新方法,在保留畫面畫質的前提下,把模型體積直接壓縮到了 7GB。
這意味著只要一張中端顯示卡,創作者就能在本地把這套原本屬於工作站級別的上下文生圖流程跑起來。
為什麼重要
我們認為,這一步最切中要害的地方,是把文生圖從抽卡玩具真正推向了可用工具。
過去文生圖最讓人頭疼的就是不可控。改一個詞,整張圖推倒重來;想要區域性微調,又得堆疊一大堆輔助工具,學習門檻極高。FLUX.1 Kontext 這種在同一個模型裡原生理解圖文上下文的做法,讓編輯邏輯變得和修圖軟體一樣直觀。
對創作者和獨立開發者來說,視訊記憶體降到 12GB 甚至 7GB,意味著不用再為雲端算力買單,在本地電腦上就能流暢做連續分鏡或電商物料迭代。如果你手頭有 RTX 40 或 50 系顯示卡,現在就非常值得去 ComfyUI 裡試一試。
從行業來看,這看起來也是開源模型反擊閉源工具的一記重拳。Midjourney 等雲端平臺一直把控著商業設計流程,而一旦開源陣營在本地實現了高質量、低延遲的角色一致性和區域性重繪,閉源工具的壁壘會被進一步削弱。
不過隱患依然存在。極度壓縮的 FP4 版本在複雜構圖或極端光影下,生成細節是否真能完全媲美全精度,還需要社群大量實際測試。但至少,NVIDIA 用工程手段把前沿模型的本地執行門檻砸到了大眾消費線以內。
來源 (1)
- blogs.nvidia.com(在新分頁開啟)原文blogs.nvidia.com