NVIDIA 上線 FLUX.1 Kontext NIM 微服務:視訊記憶體降至 7GB,速度翻倍
NVIDIA 推出 FLUX.1 Kontext [dev] NIM 微服務。通過 FP8 與 FP4 量化,模型佔用從 24GB 最低壓縮至 7GB,結合 TensorRT 帶來超 2 倍推理加速,且支援在 ComfyUI 中一鍵呼叫。
NVIDIA 推出 FLUX.1 Kontext [dev] NIM 微服務。通過 FP8 與 FP4 量化,模型佔用從 24GB 最低壓縮至 7GB,結合 TensorRT 帶來超 2 倍推理加速,且支援在 ComfyUI 中一鍵呼叫。
NVIDIA 宣佈為 Black Forest Labs 的影像編輯模型 FLUX.1 Kontext [dev] 提供 TensorRT 加速。通過量化將模型體積壓縮至 12GB(FP8)和 7GB(FP4),推理效能提升超 2 倍,創作者在本地 RTX 顯示卡上即可靠自然語言輕鬆修圖。
NVIDIA 聯合 Stability AI 為 Stable Diffusion 3.5 推出 TensorRT 加速與 FP8 量化。SD3.5 Large 視訊記憶體需求從 18GB 驟降至 11GB,生成速度飆升 2.3 倍,主流消費級 RTX 顯示卡也能輕鬆跑起大模型。
Stability AI 宣佈與 NVIDIA 合作,通過 TensorRT 深度最佳化 SDXL 並開放 ONNX 權重。在 H100 GPU 上模型效能翻倍,高畫質圖生成僅需 1.47 秒,延遲降低 41%、吞吐量提升 70%。生圖效率大幅提高,能直接降低創作者與開發者的部署成本。