Stability AI 推出三款 ControlNet:为 Stable Diffusion 3.5 Large 带来精准控制
Stability AI 为 Stable Diffusion 3.5 Large 发布了三款 ControlNet 模型,包括 Blur、Canny 和 Depth。它们分别支持超分辨率放大、边缘线稿控制与深度引导,经约 150 人测试偏好度位居同类首位。年营收 100 万美元以下可免费商用,支持通过 Comfy UI 调用。

玩过 AI 生图的人大概都有过这种痛苦:提示词改了上百遍,画面里的手还是不对,或者好不容易抽出一张满意的构图,换个风格就全散了架。
解决这种「不可控」的利器一直是 ControlNet。11 月 26 日,Stability AI 终于给自家的旗舰模型 Stable Diffusion 3.5 Large 装上了这项能力,一口气放出 Blur、Canny 和 Depth 三款官方 ControlNet 模型。
目前权重已经上架 Hugging Face,代码放在 GitHub,开源社区动作很快,ComfyUI 也在第一时间跟进支持。
放大到 16K,给建筑和插画定规矩
这次上线的三个模型,分别对应了创作者最常用的三种控制场景。
第一个是 Blur 模型,主打的是超高保真度的画质放大。它支持把图像放大到 8K 甚至 16K 分辨率,特别适合用来把低分辨率素材通过分块平铺的方式,渲染出极其细腻的大图,算是一个强力的画质增强工具。
第二个是老朋友 Canny 边缘检测。它通过提取画面的线稿边缘来锁定生成结构,虽然对各种视觉风格都能通吃,但在插画创作中尤为顺手,能让线条结构老老实实呆在原位。
第三个是 Depth 深度图控制。它结合了 DepthFM 提取的景深信息来引导画面空间关系,在建筑效果图渲染、3D 资产贴图制作,以及任何需要严格把控前后景构图的任务里,都是必不可少的模块。
官方还公布了一项约 150 人参与的 ELO 偏好测试,在相同控制类型的对比中,SD 3.5 Large ControlNets 在用户偏好排名里拿下了第一名。
年入百万美元以下商用免费
在开源协议上,这批模型依然沿用了 Stability AI Community License。
对于个人和非商业机构,比如科研项目,完全免费开放下载和使用。
如果是创业团队、中小企业或者独立创作者拿来商用,只要年营收在 100 万美元以内,同样可以免费商用,不需要交授权费。
而且生成出的图片版权明确归用户自己所有,官方不附加限制条件。只有年营收超过 100 万美元的大公司,才需要去申请企业商业授权。
Stability AI 还透露,接下来还会继续推出适配 SD 3.5 Medium 2B 参数版本的 ControlNet,以及更多全新的控制类型。
为什么重要
对于还在用 SD 1.5 甚至 SDXL 的老玩家来说,这一步补齐了换代最关键的一块拼图。
光有生图大模型只能用来灵感抽卡,真正的商业落地无论是做电商海报、游戏原画还是建筑渲染,没有 ControlNet 的精准控制根本没法进工作流。很多创作者之所以一直守着旧模型不肯迁移,最大的卡点就是没有官方且成熟的控制工具。
我们认为,这一步走得相当实在。支持 8K 和 16K 放大的 Blur 模型加上深度和线稿控制,直接把 SD 3.5 Large 从一个用来围观的新模型,推到了生产力工具的位置上。
对行业来说,这也是开源图像阵营对闭源工具的一次正面防御。像 Midjourney 这类闭源平台虽然画质极其惊艳,但在工业级精准控制和自建流程上,始终无法提供本地工作流所具备的自由度。
不过门槛依然摆在眼前,SD 3.5 Large 对本地显存和算力的要求不低,跑一套加了 ControlNet 的 ComfyUI 流程,普通家用显卡吃不吃得消还得打个问号。但无论如何,能用的工具箱已经摆在台面上,现在绝对值得专业创作者拉进本地工作流试一试了。
来源 (1)
- stability.ai(在新标签页打开)原文stability.ai