Stability AI 发布 DeepFloyd IF:能直接在图片里精准渲染文字
Stability AI 联合旗下实验室 DeepFloyd 推出级联像素扩散模型 DeepFloyd IF,先以研究许可开源。它采用 T5-XXL 文本编码器,攻克了过去生图模型极难在画面中精准渲染连贯英文文字的难题,在 COCO 取得 6.66 的 FID 成绩。目前先开放给学术研究,未来计划完全开源。
Stability AI 联合旗下实验室 DeepFloyd 推出级联像素扩散模型 DeepFloyd IF,先以研究许可开源。它采用 T5-XXL 文本编码器,攻克了过去生图模型极难在画面中精准渲染连贯英文文字的难题,在 COCO 取得 6.66 的 FID 成绩。目前先开放给学术研究,未来计划完全开源。
Sifted 披露一份泄露的融资演示文稿,质疑 Stability AI 在 2022 年 10 月筹集 1.01 亿美元 A 轮融资时夸大了自身角色。文稿不仅声称共同创立了多家知名 AI 项目,还引发对其是否真正拥有核心知识产权的争议。说白了,这揭开了生成式 AI 狂热期初创团队包装背景的隐秘角落。
Stability AI 发布开源大语言模型套件 Stable LM 的 Alpha 版本,先推 30 亿和 70 亿参数两款。模型用 1.5 万亿 token 训练,基础版遵循 CC BY-SA-4.0 协议且允许商用。最值得关注的是它身材足够小,开发者不用依赖昂贵闭源 API,在消费级硬件上就能直接本地运行。
Stability AI 推出文生图模型 Stable Diffusion XL(SDXL)。该模型拥有 35 亿参数,主打高分辨率和逼真细节生成。这意味着创作者和开发者有了更高上限的开源图像生成底模,不仅风格更多元,画质也更接近专业级。
据 Semafor 报道,开源图像模型 Stable Diffusion 背后的初创公司 Stability AI 烧钱速度惊人且缺乏盈利路径,陷入严重财务困境。公司去年融到的 1 亿美元已所剩无几,原本冲刺 40 亿美元估值的新一轮融资也已动摇。在 Midjourney 等对手的挤压下,开源明星公司的商业化显得格外艰难。
Stability AI 宣布推出 Stable Diffusion Reimagine。这是 Clipdrop 上的新工具,用户不需要写复杂提示词,上传一张图片即可生成无限张细节和构图不同的变体。它用图像编码器取代了文本编码器,不会复用原图的任何像素,模型后续还将开源。
Stability AI 宣布收购热门图像工具 Clipdrop 的开发商 Init ML,完成其首笔并购。Init ML 拥有超 1500 万用户,收购后将作为全资独立子公司运营且全员留任。Stability AI 计划把最新的开源生成式模型无缝接入 Clipdrop 工作流。
据彭博社 3 月报道,Stable Diffusion 母公司 Stability AI 正与投资者接洽,计划以约 40 亿美元估值进行新一轮融资。该公司去年 10 月刚以 10 亿美元估值完成 1.01 亿美元融资,目前融资金额未定,最终估值仍可能有变。
Getty Images 在美国特拉华州法院正式起诉 Stability AI,指控其未经许可擅自使用超过 1200 万张图片及元数据训练 Stable Diffusion。Getty 要求法院下令销毁所有侵权训练的模型版本并索赔,直击生成式 AI 训练数据的版权核心争端。
三位独立艺术家在旧金山对 Stability AI、Midjourney 和 DeviantArt 提起集体诉讼,指控其未经许可抓取数十亿张网络图片训练模型。原告指出,用户只需输入艺术家名字即可生成仿制画风,侵蚀创作者生存空间。这是艺术家群体首次在法庭上直接叫板生成式 AI 公司。
Getty Images 在伦敦高等法院起诉 Stability AI,指控对方未经许可抓取其数百万张受版权保护的图片来训练 Stable Diffusion。Getty 表示自己并不排斥 AI,已向部分厂商授权图库,但指责 Stability 绕过合规许可侵权牟利。
三位艺术家联合对 Stability AI、Midjourney 和 DeviantArt 提起集体版权诉讼,指控它们未经许可使用受版权保护的图像训练模型并模仿风格。原告要求经济赔偿并申请禁令,该案将直接检验未经授权抓取公开数据训练 AI 是否属于合理使用。
《卫报》刊发专栏指出,Lensa、Midjourney 等图像生成工具正加速渗透商业领域,直接冲击插画师等零工创意群体。尽管有艺术家发起 Spawning 项目争取「退出训练集」权利,但如何定义和保护画风版权仍缺乏法律支撑。
盘点了支撑当下图像生成 AI 的核心技术扩散模型的发展历程。扩散模型借鉴非平衡热力学,通过学习从噪声中恢复数据的逆过程,并在 OpenAI CLIP 的指引下实现精准生成。除了画画,该架构正快速扩展至音乐创作以及蛋白质和 DNA 序列设计等生物医疗领域。
众筹平台 Kickstarter 关停了 AI 成人内容项目 Unstable Diffusion 的筹款活动。该项目原计划筹资训练无审查图像模型,已从 867 人处筹得超 5.6 万美元,款项将全部退还。Kickstarter 表示正重新评估涉及版权与潜在伤害的 AI 项目规则。
斯坦福大学 AIMI 研究人员通过微调开源 Stable Diffusion,成功生成了具备病变特征的逼真胸部 X 光片。研究证明通用潜扩散模型无需昂贵算力即可迁移到专业医学领域,有助于填补罕见病数据缺口。不过目前生成图像多样性有限,且协议禁止直接用于诊断。
Stable Diffusion 2.0 正式发布,最大看点是新增 depth2img 功能。该功能利用 MiDaS 算法根据 2D 图推算深度图,生成时能严格保留主体的 3D 几何结构。这意味着 3D 创作者只要搭个简单灰盒,就能直接用 AI 快速探索材质与光影方案。