跳到正文
IFAI

AIGC

Stability AI 推出三款 ControlNet:為 Stable Diffusion 3.5 Large 帶來精準控制

首次發布 傳播指數 40

Stability AI 為 Stable Diffusion 3.5 Large 釋出了三款 ControlNet 模型,包括 Blur、Canny 和 Depth。它們分別支援超解析度放大、邊緣線稿控制與深度引導,經約 150 人測試偏好度位居同類首位。年營收 100 萬美元以下可免費商用,支援通過 Comfy UI 呼叫。

Stability AI 推出三款 ControlNet:為 Stable Diffusion 3.5 Large 帶來精準控制
圖:stability.ai

玩過 AI 生圖的人大概都有過這種痛苦:提示詞改了上百遍,畫面裡的手還是不對,或者好不容易抽出一張滿意的構圖,換個風格就全散了架。

解決這種「不可控」的利器一直是 ControlNet。11 月 26 日,Stability AI 終於給自家的旗艦模型 Stable Diffusion 3.5 Large 裝上了這項能力,一口氣放出 Blur、Canny 和 Depth 三款官方 ControlNet 模型。

目前權重已經上架 Hugging Face,程式碼放在 GitHub,開源社群動作很快,ComfyUI 也在第一時間跟進支援。

放大到 16K,給建築和插畫定規矩

這次上線的三個模型,分別對應了創作者最常用的三種控制場景。

第一個是 Blur 模型,主打的是超高保真度的畫質放大。它支援把影像放大到 8K 甚至 16K 解析度,特別適合用來把低解析度素材通過分塊平鋪的方式,渲染出極其細膩的大圖,算是一個強力的畫質增強工具。

第二個是老朋友 Canny 邊緣檢測。它通過提取畫面的線稿邊緣來鎖定生成結構,雖然對各種視覺風格都能通吃,但在插畫創作中尤為順手,能讓線條結構老老實實呆在原位。

第三個是 Depth 深度圖控制。它結合了 DepthFM 提取的景深資訊來引導畫面空間關係,在建築效果圖渲染、3D 資產貼圖製作,以及任何需要嚴格把控前後景構圖的任務裡,都是必不可少的模組。

官方還公佈了一項約 150 人參與的 ELO 偏好測試,在相同控制型別的對比中,SD 3.5 Large ControlNets 在使用者偏好排名裡拿下了第一名。

年入百萬美元以下商用免費

在開源協議上,這批模型依然沿用了 Stability AI Community License。

對於個人和非商業機構,比如科研專案,完全免費開放下載和使用。

如果是創業團隊、中小企業或者獨立創作者拿來商用,只要年營收在 100 萬美元以內,同樣可以免費商用,不需要交授權費。

而且生成出的圖片版權明確歸使用者自己所有,官方不附加限制條件。只有年營收超過 100 萬美元的大公司,才需要去申請企業商業授權。

Stability AI 還透露,接下來還會繼續推出適配 SD 3.5 Medium 2B 引數版本的 ControlNet,以及更多全新的控制型別。

為什麼重要

對於還在用 SD 1.5 甚至 SDXL 的老玩家來說,這一步補齊了換代最關鍵的一塊拼圖。

光有生圖大模型只能用來靈感抽卡,真正的商業落地無論是做電商海報、遊戲原畫還是建築渲染,沒有 ControlNet 的精準控制根本沒法進工作流。很多創作者之所以一直守著舊模型不肯遷移,最大的卡點就是沒有官方且成熟的控制工具。

我們認為,這一步走得相當實在。支援 8K 和 16K 放大的 Blur 模型加上深度和線稿控制,直接把 SD 3.5 Large 從一個用來圍觀的新模型,推到了生產力工具的位置上。

對行業來說,這也是開源影像陣營對閉源工具的一次正面防禦。像 Midjourney 這類閉源平臺雖然畫質極其驚豔,但在工業級精準控制和自建流程上,始終無法提供本地工作流所具備的自由度。

不過門檻依然擺在眼前,SD 3.5 Large 對本地視訊記憶體和算力的要求不低,跑一套加了 ControlNet 的 ComfyUI 流程,普通家用顯示卡吃不吃得消還得打個問號。但無論如何,能用的工具箱已經擺在檯面上,現在絕對值得專業創作者拉進本地工作流試一試了。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

每日 AI 內容精選