NVIDIA 联手 Stability AI：TensorRT 让 SD 3.5 显存狂省 40%，速度翻倍

想在自己的电脑上跑顶级画图模型，显存不够往往是第一道坎。

Stable Diffusion 3.5 Large 原本需要超过 18GB 显存，直接把绝大多数消费级显卡挡在门外。NVIDIA 联合 Stability AI 用 TensorRT 对模型动了手术：把 SD3.5 Large 量化到 FP8 精度，显存占用砍掉 40%，降到了 11GB。

这意味着此前只有旗舰卡才能啃下来的大模型，现在一共有五款 GeForce RTX 50 系列显卡能直接在本地显存里跑起来。

速度翻倍，安装包却小了 8 倍

除了降显存，性能也有明显提升。

在 FP8 精度下搭配 TensorRT 加速，SD3.5 Large 的出图速度比跑在原始 BF16 PyTorch 环境下快了 2.3 倍。稍微小一点的 SD3.5 Medium 也有优化，在 BF16 下通过 TensorRT 能拿到 1.7 倍的性能提升。

目前这些优化后的模型已经上传到 Stability AI 的 Hugging Face 页面。两家公司还计划在 7 月推出 SD3.5 的 NVIDIA NIM 微服务，方便开发者部署。

伴随模型更新的，还有面向 PC 端重新打造的 TensorRT for RTX 独立 SDK。

以前开发者在 RTX 显卡上用 TensorRT 特别折腾，得针对每一款 GPU 提前生成专门的引擎文件。这次 NVIDIA 引入了即时编译（JIT）机制，开发者只需要打包一个通用引擎，用户的电脑在安装或首次运行时，几秒钟内就能在后台完成针对具体显卡的优化。

而且整个 SDK 的体积缩减到了原来的八分之一，目前已经在微软的 Windows ML 预览版中接入，开发者也可以直接下载独立 SDK。

为什么重要

把 SD3.5 Large 压进 11GB 显存，对本地创作者来说是实实在在的减负。

原本跑这个模型几乎必须买 24GB 显存的高端卡，现在门槛拉低到了 12GB 到 16GB 显存的甜品级显卡。想要在本地生图的画师和独立开发者，不用再为尝鲜新模型专门去换一张昂贵的显卡，甚至不需要忍受 PyTorch 本地推理时的漫长等待。

我们认为，这次更新更关键的看点在于 TensorRT 自身的工程进化。以前 TensorRT 虽快，但多卡适配繁琐、体积庞大，让很多桌面软件开发者望而却步。引入即时编译并把体积缩小 8 倍后，它才真正具备了像常规库一样被塞进普通 Windows 客户端的可能。

通过与微软 Windows ML 的绑定，NVIDIA 正在把它的硬件推理优势变成 Windows 平台的默认底层。对竞争对手来说，光拼显卡浮点算力已经不够了，想要撼动 RTX 在桌面 AI 领域的生态壁垒，软件适配链条上的差距看起来越来越难追赶。