跳到正文
IFAI

AI工具

Stability AI 推出新工具:上传一张图,免提示词无限生成变体

首次发布 传播指数 40

Stability AI 宣布推出 Stable Diffusion Reimagine。这是 Clipdrop 上的新工具,用户不需要写复杂提示词,上传一张图片即可生成无限张细节和构图不同的变体。它用图像编码器取代了文本编码器,不会复用原图的任何像素,模型后续还将开源。

Stability AI 推出新工具:上传一张图,免提示词无限生成变体
图:stability.ai

想用 AI 给自己的房间换个软装风格,或者给同一套衣服做几组不同搭配,很多人最头疼的往往不是显卡不够好,而是憋不出那一长串复杂的英文提示词。

Stability AI 这次干脆把提示词那一关给拆了。他们正式上线了一款叫做 Stable Diffusion Reimagine 的新工具,放在旗下的 Clipdrop 平台里供大家把玩。

这个工具的核心逻辑非常简单粗暴:你不需要写任何文字,只要扔进去一张图,它就能基于这张原图的灵感,无限生成构图和细节各不相同的衍生版本。

一个像素都不照搬的新玩法

很多人一听会觉得,这不就是早就有的图生图吗。其实底层的逻辑完全变了。

传统的 Stable Diffusion 是文生图逻辑,模型完全靠文本编码器来理解指令。而 Reimagine 则是 Stability AI 新研发的一套算法,他们把原本的文本编码器直接拔掉,换成了一个图像编码器。

传统的图生图往往会在原图像素的基础上做加噪和扩散修改。但 Reimagine 是先把整张原图完全编码成特征向量,然后在经过算法后加入噪声来创造变化。

官方特别强调了一点:生成器在画新图的时候,没有直接使用原图里的任何一个像素。它更像是一个看过了你画作的画师,合上画板后全凭印象重新画了一张新的。

配合 Clipdrop 自带的图片放大工具,用户如果生成了满意的草图,还能一键把小图的分辨率和细节提升至少两倍。

灵感盲盒也有翻车的时候

不用敲键盘写词确实省心,但这种纯靠特征重构的玩法也有明显的短板。

Stability AI 自己也承认,这项技术目前的表现很不稳定。面对某些光影清晰的图片时,它能给出让人惊艳的新构图;但换一张图,生成出来的效果可能就非常平淡甚至变形。

安全过滤也是个麻烦事。模型内置了安全过滤器来拦截不适宜的请求,但官方坦言这个过滤器很容易出现误判或者漏判。

同时模型本身有时也会表现出异常结果或偏见。官方目前正急着收集第一批用户反馈,准备后续迭代,并且承诺这个新模型很快就会在 Stability AI 的 GitHub 上开源。

为什么重要

我们认为,Reimagine 最聪明的点在于它降低了视觉创意的试错成本。对于室内设计师、时尚买手或者电商美工来说,以前为了找灵感得反复调试几百个单词的负面提示词,现在直接把现场照片丢进去,就能像抽盲盒一样批量拿变体方案。

从技术和版权博弈的维度看,这一步棋也走得很微妙。官方反复强调生成过程不从原图提取任何单一像素,显然是在给日益紧张的训练数据和版权纠纷打预防针,试图在法律上证明这只是灵感借鉴而不是像素复制。

不过它的隐患也很显眼。完全脱离了文字约束后,用户对画面的控制力几乎降到了零。你无法要求它保留床的样式只换窗帘,它一变就是整张画全盘重洗。只要这种不可控性还在,它就更适合当一个前期的灵感发生器,而不是能直接落地的生产力工具。

来源 (1)

  1. [1]
    stability.ai(在新标签页打开)原文stability.ai

每日 AI 内容精选