跳到正文
IFAI

AI工具

Stability AI 推出新工具:上傳一張圖,擴音示詞無限生成變體

首次發布 傳播指數 40

Stability AI 宣佈推出 Stable Diffusion Reimagine。這是 Clipdrop 上的新工具,使用者不需要寫複雜提示詞,上傳一張圖片即可生成無限張細節和構圖不同的變體。它用影像編碼器取代了文本編碼器,不會複用原圖的任何畫素,模型後續還將開源。

Stability AI 推出新工具:上傳一張圖,擴音示詞無限生成變體
圖:stability.ai

想用 AI 給自己的房間換個軟裝風格,或者給同一套衣服做幾組不同搭配,很多人最頭疼的往往不是顯示卡不夠好,而是憋不出那一長串複雜的英文提示詞。

Stability AI 這次乾脆把提示詞那一關給拆了。他們正式上線了一款叫做 Stable Diffusion Reimagine 的新工具,放在旗下的 Clipdrop 平臺裡供大家把玩。

這個工具的核心邏輯非常簡單粗暴:你不需要寫任何文字,只要扔進去一張圖,它就能基於這張原圖的靈感,無限生成構圖和細節各不相同的衍生版本。

一個畫素都不照搬的新玩法

很多人一聽會覺得,這不就是早就有的圖生圖嗎。其實底層的邏輯完全變了。

傳統的 Stable Diffusion 是文生圖邏輯,模型完全靠文本編碼器來理解指令。而 Reimagine 則是 Stability AI 新研發的一套演算法,他們把原本的文本編碼器直接拔掉,換成了一個影像編碼器。

傳統的圖生圖往往會在原影像素的基礎上做加噪和擴散修改。但 Reimagine 是先把整張原圖完全編碼成特徵向量,然後在經過演算法後加入噪聲來創造變化。

官方特別強調了一點:生成器在畫新圖的時候,沒有直接使用原圖裡的任何一個畫素。它更像是一個看過了你畫作的畫師,合上畫板後全憑印象重新畫了一張新的。

配合 Clipdrop 自帶的圖片放大工具,使用者如果生成了滿意的草圖,還能一鍵把小圖的解析度和細節提升至少兩倍。

靈感盲盒也有翻車的時候

不用敲鍵盤寫詞確實省心,但這種純靠特徵重構的玩法也有明顯的短板。

Stability AI 自己也承認,這項技術目前的表現很不穩定。面對某些光影清晰的圖片時,它能給出讓人驚豔的新構圖;但換一張圖,生成出來的效果可能就非常平淡甚至變形。

安全過濾也是個麻煩事。模型內建了安全過濾器來攔截不適宜的請求,但官方坦言這個過濾器很容易出現誤判或者漏判。

同時模型本身有時也會表現出異常結果或偏見。官方目前正急著收集第一批使用者反饋,準備後續迭代,並且承諾這個新模型很快就會在 Stability AI 的 GitHub 上開源。

為什麼重要

我們認為,Reimagine 最聰明的點在於它降低了視覺創意的試錯成本。對於室內設計師、時尚買手或者電商美工來說,以前為了找靈感得反覆除錯幾百個單詞的負面提示詞,現在直接把現場照片丟進去,就能像抽盲盒一樣批次拿變體方案。

從技術和版權博弈的維度看,這一步棋也走得很微妙。官方反覆強調生成過程不從原圖提取任何單一畫素,顯然是在給日益緊張的訓練資料和版權糾紛打預防針,試圖在法律上證明這只是靈感借鑑而不是畫素複製。

不過它的隱患也很顯眼。完全脫離了文字約束後,使用者對畫面的控制力幾乎降到了零。你無法要求它保留床的樣式只換窗簾,它一變就是整張畫全盤重洗。只要這種不可控性還在,它就更適合當一個前期的靈感發生器,而不是能直接落地的生產力工具。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

每日 AI 內容精選