Diffusers 支持 SDXL 版 T2I-Adapter：体积比 ControlNet 缩减 94%

T2I-Adapter-SDXL 是一个专为 Stable Diffusion XL 打造的轻量级即插即用控制模块，让你能用线稿、骨骼或深度图精准引导 26 亿参数的 SDXL 生成图像，而不需要承受沉重的显存负担。

在以往的扩散模型控制方案中，ControlNet 几乎是事实标准，但它在 SDXL 时代变得非常笨重。ControlNet-SDXL 拥有 12.51 亿参数，单模型权重在 fp16 精度下就要占 2.5 GB。更要命的是，ControlNet 复制了 UNet 的编码器，在整个反向扩散去噪的几十个步数里，每一步都需要和 UNet 一起计算，算力开销成倍增加。

T2I-Adapter 则换了一条极度克制的路线。它冻结原本庞大的 SDXL 底座，只用一个 79M 参数的小模型去对齐外部控制信号和文生图模型的内部先验。相比 ControlNet，它的参数量直接砍掉了 93.69%，fp16 格式的文件仅有 158 MB，甚至比 197.78M 参数的 ControlLoRA 还要轻便一大截。

更关键的性能差异在于运行机制。ControlNet 必须在每个去噪步都算一遍，而 T2I-Adapter 在整个生成周期中通常只需要提取一次外部特征，极大地释放了生成速度和显存瓶颈。

它能做什么

这次 Hugging Face 的 Diffusers 团队与 T2I-Adapter 原作者合作，将整套支持完整集成进了 Diffusers 库，并直接放出了基于 300 万高质量图文对训练好的现成权重。

目前开源的权重覆盖了最常用的几种控制条件，包括线稿识别、草图勾勒、Canny 边缘检测、Midas 和 Zoe 两种深度估计，以及 OpenPose 人体骨骼姿态。这意味着你可以直接拿以前熟悉的 ControlNet 工作流，无缝平替到 SDXL 上。

官方还给出了完整的训练脚本，使用 constant 学习率 1e-5，在单个 GPU batch size 为 16、总 batch size 为 128 的设置下跑 20000 到 35000 步就能训练出定制 adapter。如果你有自己的特定控制需求，完全可以基于开源脚本快速炼制。

怎么跑起来

在代码里使用它非常直接。只需要升级最新版 diffusers、controlnet_aux、transformers 和 accelerate，导入 StableDiffusionXLAdapterPipeline 即可。

生成时，系统会先用探测器把输入图像转换成对应的控制特征图，然后连同文本提示词一并送入管线。除了常规的 guidance scale，T2I-Adapter 还提供了两个非常直观的控制参数：adapter_conditioning_scale 用于调节控制信号的强弱，而 adapter_conditioning_factor 则控制 adapter 介入前百分之多少的生成步数，比如设为 0.5 就代表只在前一半步骤引导构图，后半段交给模型自由发挥。

想直接上手的用户，可以直接去 Hugging Face Space 体验在线演示，或者尝试基于草图模型的 Doodly 涂鸦生成 demo。

为什么重要

对于个人创作者和中小团队来说，SDXL 虽好，但加上 ControlNet 后硬件门槛陡增，甚至经常在消费级显卡上爆显存。T2I-Adapter 把体积压缩到 158 MB，把计算从几十次压缩到一次，让 SDXL 精准控制真正具备了在本地单卡和低成本服务器上量产部署的可能。

我们认为这种「小模型撬动大模型」的做法代表了一种务实的工程审美。它虽然在某些极其复杂的几何细节把控上可能略逊于完全复制编码器的 ControlNet，但在九成的常规线稿和姿态控制场景中，它省下的显存与推理时间，远比那一丝微小的边缘精度更有价值。