NVIDIA、TensorRTで「SD 3.5」を倍速化　VRAM消費を40%削減

ローカルPCで最高峰の画像生成モデルを動かそうとするとき、最大の壁となるのがVRAM（ビデオメモリ）の容量です。

Stable Diffusion 3.5 Largeは通常18GB以上のVRAMを消費するため、大半のコンシューマー向けGPUではまともに動作しませんでした。そこでNVIDIAはStability AIと連携し、TensorRTを活用してモデルのメモリ消費削減と高速化を実施しました。

SD3.5 LargeをFP8精度に量子化することで、VRAM使用量を40%削減して11GBまで圧縮。これにより、これまで1機種しか対応できなかったGeForce RTX 50シリーズのうち、計5機種のGPUでモデルをメモリ内に収めて直接動かせるようになりました。

生成速度は2倍以上、SDK容量は8分の1に小型化

メモリの削減だけでなく、推論パフォーマンスも大きく向上しています。

SD3.5 LargeをFP8 TensorRTで動作させた場合、従来のBF16 PyTorch環境と比較して約2.3倍の高速化を達成しました。また、中規模モデルのSD3.5 Mediumでも、BF16 TensorRT環境で1.7倍の性能向上が確認されています。

最適化されたモデルはStability AIのHugging Faceページで公開済みです。さらに7月には、開発者向けのNVIDIA NIMマイクロサービスとしても提供される予定です。

あわせて、RTX AI PC向けに刷新された「TensorRT for RTX」スタンドアロンSDKの提供も始まりました。従来はGPUの種類ごとに事前ビルドが必要で手間がかかっていましたが、JIT（ジャストインタイム）コンパイルに対応したことで、インストール時や初回起動時に数秒で最適化エンジンを生成できるようになりました。SDKのファイルサイズも従来の8分の1に縮小され、MicrosoftのWindows MLプレビュー版からも呼び出し可能になっています。

なぜ重要か

18GBを要求していた重量級モデルが11GBで動くようになったことは、ローカル環境で制作を行うクリエイターにとって大きな恩恵です。高価な24GB搭載カードを用意しなくても、12GBから16GBクラスのミドルハイクラスGPUで、しかも2倍以上の速度で最新モデルを試せるようになります。

開発者体験の改善という点でも、今回のアップデートは非常に賢い手だと考えられます。TensorRTは高速な反面、モデル配布の取り回しが重く、PC向け一般アプリへの組み込みにはハードルがありました。サイズを8分の1に抑え、JITで最適化し、Windows MLのバックエンドとして標準化を進めることで、NVIDIAはWindows上での推論基盤の支配力をさらに強めようとしています。