DiffusersがSDXL版T2I-Adapterに対応：容量を94%削減

T2I-Adapter-SDXLは、26億パラメータを誇るStable Diffusion XL（SDXL）を線画やポーズ画像、深度マップなどで精密にコントロールできる軽量なプラグアンドプレイ型モデルです。重いVRAM負荷をかけずに、思い通りの構図を生成できます。

画像生成の構図制御ではControlNetが広く使われていますが、SDXL環境で動かすには膨大な計算資源を消費します。ControlNet-SDXLはパラメータ数が1251Mもあり、fp16形式のモデルサイズだけでも2.5GBに達します。さらにUNetエンコーダを複製する設計のため、ノイズ除去の全ステップでControlNetとUNetの両方を毎回動かす必要があり、生成速度の大きなボトルネックになっていました。

T2I-Adapterは、SDXL本体を完全にフリーズさせたまま、外部の制御信号をモデル内部の知識と整合させるアプローチをとります。パラメータ数はわずか79Mで、ControlNet比で約93.69%削減。fp16形式のファイルサイズは158MBに収まり、197.78MパラメータのControlLoRAよりもさらに軽量です。

最大の強みはその計算効率にあります。ステップごとに計算が必要なControlNetと異なり、T2I-Adapterはノイズ除去プロセス全体で基本的に1度だけ実行すれば済むため、推論時間とメモリ消費を劇的に抑えられます。

できることと使い方

Hugging FaceのDiffusersチームとT2I-Adapterの原著者が連携し、Diffusersライブラリへの公式統合と学習済みチェックポイントの公開を行いました。

今回公開された重みは、線画、スケッチ、Cannyエッジ、深度（MiDaSおよびZoe）、OpenPoseに対応しています。これらはLAION-Aesthetics V2から抽出された300万枚の高解像度画像ペアを用い、fp16精度で2万〜3万5000ステップ学習されたものです。

PythonコードからはStableDiffusionXLAdapterPipelineを使って手軽に呼び出せます。制御の強さを決めるadapter_conditioning_scaleに加え、生成ステップの前半何割に適用するかを指定するadapter_conditioning_factorも設定可能です。Web上ですぐ試せるHugging Face Spaceや、落書きからリアルな画像を生成するDoodlyのデモも用意されています。

なぜ重要か

SDXLで精密な構図制御を行おうとすると、一般向けのコンシューマーGPUではVRAM不足に悩まされるのが常でした。T2I-Adapterがモデル容量を158MBまで削り、ステップごとの計算負荷を解消したことで、ローカル環境や低コストなサーバーでもSDXLの制御パイプラインを現実的に運用できるようになります。

極限の幾何学的ディテールではControlNetに分があるケースもありますが、日常的な線画抽出やポーズ指定において、この軽さと生成速度のバランスは圧倒的です。現場の実用性を大きく引き上げる堅実な成果といえます。