NVIDIA 上線 FLUX.1 Kontext NIM 微服務：視訊記憶體降至 7GB，速度翻倍

想在本地用開源大模型改圖，最讓人頭疼的往往不是顯示卡不夠貴，而是裝環境和視訊記憶體爆炸。

部署一個幾十 GB 的大模型，既要把模型檔案轉成推理引擎支援的格式，又得自己折騰量化壓縮視訊記憶體，最後還得配環境接 API。折騰大半天，視訊記憶體可能還是撐不住。

NVIDIA 和 Black Forest Labs 剛剛把這套門檻拆了。Black Forest Labs 的影像編輯模型 FLUX.1 Kontext [dev] 正式上線了 NVIDIA NIM 微服務，專門給本地 RTX AI PC 做了深度適配。

24GB 壓到 7GB，視訊記憶體減負與兩倍提速

FLUX.1 Kontext [dev] 本身是一個支援文本和影像雙輸入的開源權重模型。使用者只要給一張圖，打幾句日常的大白話，就能指揮它微調區域性細節或者大改整個場景，省去了複雜的微調或工作流搭建。

這次雙方合作的核心，在於直接給模型動了手術。原始的 BF16 模型足足有 24GB，一般消費級顯示卡根本吃不消。

NVIDIA 針對不同架構的顯示卡做了針對性量化。面向 GeForce RTX 40 系列等 Ada 架構顯示卡，他們推出了 FP8 版本，直接呼叫 Tensor Core 的 FP8 加速能力，把體積腰斬到 12GB。

面向最新的 GeForce RTX 50 系列等 Blackwell 架構顯示卡，官方採用了一種名為 SVDQuant 的新方法，壓縮出只有 7GB 的 FP4 版本，在縮小體積的同時保住了畫面質量。

除了體積縮減，NVIDIA 還拿出了底層的 TensorRT 框架，充分呼叫顯卡里的 Tensor Core。相比在 PyTorch 框架下跑原始 BF16 模型，推理速度直接翻了一倍以上。

以往要想吃滿這些效能紅利，往往需要專業的 AI 基礎設施開發經驗。但現在通過 ComfyUI 的 NIM 節點，預打包的檔案支援一鍵下載，普通玩家也能直接享受到這種速度提升。

想在本地跑起來也不算繁瑣。使用者需要先裝好 NVIDIA AI Workbench 和 ComfyUI，在軟體內通過 ComfyUI Manager 安裝 NIM 節點，去 Hugging Face 頁面同意 FLUX.1 Kontext [dev] 的許可協議，隨後在工作流中點一下執行，外掛就會自動幫你把需要的模型和流程拉取完整。

為什麼重要

普通創作者要在本地流暢編輯高畫質大圖，以往要麼得買昂貴的工作站顯示卡，要麼就得忍受雲端收費與排隊。現在藉助 FP8 和 FP4 兩個量化版本，12GB 視訊記憶體的 40 系列顯示卡就能輕鬆跑起來，未來的 50 系列更是隻要 7GB 視訊記憶體，本地修圖的門檻被大幅拉低。

我們認為，NVIDIA 這一步走得相當精明。它沒有隻賣硬體算力，而是把複雜的底層加速、格式轉換和量化打包成了即開即用的 NIM 微服務，直接縫合進了創作者最扎堆的 ComfyUI 生態中。這種做法讓普通愛好者不用懂底層程式碼，就能榨乾顯示卡的每一分算力。

看起來，這種軟硬體深度繫結的打法，也會繼續加深 NVIDIA 在端側 AI 創作工具鏈上的護城河。當開源模型釋出的第一時間就綁定了私有的 TensorRT 最佳化與專用微服務，競爭對手不僅要在硬體能效上追趕，在軟體易用性和工作流整合上也會被甩開更遠。

不過隱患依然存在。使用者必須嚴格依賴特定的架構代際才能獲得最優效能，比如 FP4 的極致壓縮僅留給了 Blackwell 架構，這種硬體分代策略在實際體驗中可能會把老卡使用者隔在門外。