NVIDIA、画像編集モデル「FLUX.1 Kontext」のNIMマイクロサービスを公開
NVIDIAはFLUX.1 Kontext [dev]のNIMマイクロサービスを公開した。量子化によりモデルサイズを最大7GBまで削減し、TensorRTで推論速度を2倍以上に向上。ComfyUIから手軽に呼び出せる。
TensorRT
NVIDIA、画像生成「FLUX.1 Kontext」をTensorRTで高速化
NVIDIAはBlack Forest Labsの画像生成・編集モデル「FLUX.1 Kontext [dev]」向けにTensorRT最適化を提供すると発表した。FP8で12GB、FP4で7GBに量子化され、推論速度は2倍以上に向上。ローカルのRTX環境で快適に対話型画像編集を行える。
NVIDIA、TensorRTで「SD 3.5」を倍速化 VRAM消費を40%削減
NVIDIAはStability AIと連携し「Stable Diffusion 3.5」をTensorRTで最適化したと発表した。FP8量子化によりSD3.5 LargeのVRAM消費を18GB超から11GBへ40%削減し、生成速度を最大2.3倍に高速化。一般的なRTX搭載PCでの動作が格段に容易になる。
Stability AIがNVIDIA TensorRTでSDXLを高速化、H100で生成が1.47秒に
Stability AIはNVIDIAと提携し、TensorRTで最適化したSDXLのONNX重みを公開した。NVIDIA H100ではレイテンシが41%短縮し、高精細画像をわずか1.47秒で生成可能。スループットも最大70%向上し、画像生成AIの推論コストと待ち時間を大幅に削減できる。