Diffusers 支援 SDXL 版 T2I-Adapter：體積比 ControlNet 縮減 94%

T2I-Adapter-SDXL 是一個專為 Stable Diffusion XL 打造的輕量級即插即用控制模組，讓你能用線稿、骨骼或深度圖精準引導 26 億引數的 SDXL 生成影像，而不需要承受沉重的視訊記憶體負擔。

在以往的擴散模型控制方案中，ControlNet 幾乎是事實標準，但它在 SDXL 時代變得非常笨重。ControlNet-SDXL 擁有 12.51 億引數，單模型權重在 fp16 精度下就要佔 2.5 GB。更要命的是，ControlNet 複製了 UNet 的編碼器，在整個反向擴散去噪的幾十個步數里，每一步都需要和 UNet 一起計算，算力開銷成倍增加。

T2I-Adapter 則換了一條極度剋制的路線。它凍結原本龐大的 SDXL 底座，只用一個 79M 引數的小模型去對齊外部控制訊號和文生圖模型的內部先驗。相比 ControlNet，它的引數量直接砍掉了 93.69%，fp16 格式的檔案僅有 158 MB，甚至比 197.78M 引數的 ControlLoRA 還要輕便一大截。

更關鍵的效能差異在於執行機制。ControlNet 必須在每個去噪步都算一遍，而 T2I-Adapter 在整個生成周期中通常只需要提取一次外部特徵，極大地釋放了生成速度和視訊記憶體瓶頸。

它能做什麼

這次 Hugging Face 的 Diffusers 團隊與 T2I-Adapter 原作者合作，將整套支援完整整合進了 Diffusers 庫，並直接放出了基於 300 萬高質量圖文對訓練好的現成權重。

目前開源的權重覆蓋了最常用的幾種控制條件，包括線稿識別、草圖勾勒、Canny 邊緣檢測、Midas 和 Zoe 兩種深度估計，以及 OpenPose 人體骨骼姿態。這意味著你可以直接拿以前熟悉的 ControlNet 工作流，無縫平替到 SDXL 上。

官方還給出了完整的訓練指令碼，使用 constant 學習率 1e-5，在單個 GPU batch size 為 16、總 batch size 為 128 的設定下跑 20000 到 35000 步就能訓練出定製 adapter。如果你有自己的特定控制需求，完全可以基於開源指令碼快速煉製。

怎麼跑起來

在程式碼裡使用它非常直接。只需要升級最新版 diffusers、controlnet_aux、transformers 和 accelerate，匯入 StableDiffusionXLAdapterPipeline 即可。

生成時，系統會先用探測器把輸入影像轉換成對應的控制特徵圖，然後連同文本提示詞一併送入管線。除了常規的 guidance scale，T2I-Adapter 還提供了兩個非常直觀的控制引數：adapter_conditioning_scale 用於調節控制訊號的強弱，而 adapter_conditioning_factor 則控制 adapter 介入前百分之多少的生成步數，比如設為 0.5 就代表只在前一半步驟引導構圖，後半段交給模型自由發揮。

想直接上手的使用者，可以直接去 Hugging Face Space 體驗線上演示，或者嘗試基於草圖模型的 Doodly 塗鴉生成 demo。

為什麼重要

對於個人創作者和中小團隊來說，SDXL 雖好，但加上 ControlNet 後硬體門檻陡增，甚至經常在消費級顯示卡上爆視訊記憶體。T2I-Adapter 把體積壓縮到 158 MB，把計算從幾十次壓縮到一次，讓 SDXL 精準控制真正具備了在本地單卡和低成本伺服器上量產部署的可能。

我們認為這種「小模型撬動大模型」的做法代表了一種務實的工程審美。它雖然在某些極其複雜的幾何細節把控上可能略遜於完全複製編碼器的 ControlNet，但在九成的常規線稿和姿態控制場景中，它省下的視訊記憶體與推理時間，遠比那一絲微小的邊緣精度更有價值。