NVIDIA 聯手 Stability AI：TensorRT 讓 SD 3.5 視訊記憶體狂省 40%，速度翻倍

想在自己的電腦上跑頂級畫圖模型，視訊記憶體不夠往往是第一道坎。

Stable Diffusion 3.5 Large 原本需要超過 18GB 視訊記憶體，直接把絕大多數消費級顯示卡擋在門外。NVIDIA 聯合 Stability AI 用 TensorRT 對模型動了手術：把 SD3.5 Large 量化到 FP8 精度，視訊記憶體佔用砍掉 40%，降到了 11GB。

這意味著此前只有旗艦卡才能啃下來的大模型，現在一共有五款 GeForce RTX 50 系列顯示卡能直接在本地視訊記憶體裡跑起來。

速度翻倍，安裝包卻小了 8 倍

除了降視訊記憶體，效能也有明顯提升。

在 FP8 精度下搭配 TensorRT 加速，SD3.5 Large 的出圖速度比跑在原始 BF16 PyTorch 環境下快了 2.3 倍。稍微小一點的 SD3.5 Medium 也有最佳化，在 BF16 下通過 TensorRT 能拿到 1.7 倍的效能提升。

目前這些最佳化後的模型已經上傳到 Stability AI 的 Hugging Face 頁面。兩家公司還計劃在 7 月推出 SD3.5 的 NVIDIA NIM 微服務，方便開發者部署。

伴隨模型更新的，還有面向 PC 端重新打造的 TensorRT for RTX 獨立 SDK。

以前開發者在 RTX 顯示卡上用 TensorRT 特別折騰，得針對每一款 GPU 提前生成專門的引擎檔案。這次 NVIDIA 引入了即時編譯（JIT）機制，開發者只需要打包一個通用引擎，使用者的電腦在安裝或首次執行時，幾秒鐘內就能在後臺完成針對具體顯示卡的最佳化。

而且整個 SDK 的體積縮減到了原來的八分之一，目前已經在微軟的 Windows ML 預覽版中接入，開發者也可以直接下載獨立 SDK。

為什麼重要

把 SD3.5 Large 壓進 11GB 視訊記憶體，對本地創作者來說是實實在在的減負。

原本跑這個模型幾乎必須買 24GB 視訊記憶體的高階卡，現在門檻拉低到了 12GB 到 16GB 視訊記憶體的甜品級顯示卡。想要在本地生圖的畫師和獨立開發者，不用再為嚐鮮新模型專門去換一張昂貴的顯示卡，甚至不需要忍受 PyTorch 本地推理時的漫長等待。

我們認為，這次更新更關鍵的看點在於 TensorRT 自身的工程進化。以前 TensorRT 雖快，但多卡適配繁瑣、體積龐大，讓很多桌面軟體開發者望而卻步。引入即時編譯並把體積縮小 8 倍後，它才真正具備了像常規庫一樣被塞進普通 Windows 客戶端的可能。

通過與微軟 Windows ML 的繫結，NVIDIA 正在把它的硬體推理優勢變成 Windows 平臺的預設底層。對競爭對手來說，光拼顯示卡浮點算力已經不夠了，想要撼動 RTX 在桌面 AI 領域的生態壁壘，軟體適配鏈條上的差距看起來越來越難追趕。