Stability AI 发布 DeepFloyd IF：能直接在图片里精准渲染文字

DeepFloyd IF 是 Stability AI 旗下多模态实验室 DeepFloyd 推出的一款文生图模型，最显眼的本领是能在生成的图片里直接把单词写对、把排版排好。

过去无论是 Stable Diffusion 还是其他文生图模型，一碰到要在画面里写招牌、做海报，字母往往就会糊成一团乱码。DeepFloyd IF 专门针对这个痛点做了设计，能让画面中的文字清晰可读，还能按照提示词把多个物体和空间方位安排得妥妥当当。

它能做到什么

DeepFloyd IF 在理解长文本和复杂提示词上有明显优势。除了能准确渲染英文字符，它还能处理不同物体之间的复杂空间关系。

画质方面，它在 COCO 数据集上的零样本 FID 得分达到了 6.66。这个指标越低代表生成的图片越真实，6.66 在同类开源模型里属于相当拔尖的水平。

此外，它不局限于标准的正方形图片，能原生支持横向或竖向的非标准长宽比生成。模型还支持零样本图生图，通过将原图缩小到 64 像素、加噪后再用新提示词去噪，就能在保留构图轮廓的前提下直接更换画风或局部重绘，全程不需要额外微调。

它是怎么跑起来的

DeepFloyd IF 的核心秘密在于架构选择。它不是像原版 Stable Diffusion 那样在潜在空间做扩散，而是直接在像素级做扩散的级联模型。

整套流程是模块化的。系统先用一个基础模型生成 64 像素的低分辨率图片，随后再由两级超分辨率放大模块接力，一步步提升到高分辨率大图。

在理解提示词这一端，它直接搬来了拥有庞大参数的大语言模型 T5-XXL-1.1 作为文本编码器。配合大量的图文交叉注意力层，模型才能把复杂的文字指令和画面细节死死咬合在一起。

训练数据方面，它使用的是经过深度清洗的高美感数据集 LAION-A，包含 10 亿个图文对。团队通过相似哈希去重，并用自定义过滤器剔除了水印、成人内容以及其他低质素材。

开源程度与怎么试

DeepFloyd IF 目前以非商用的研究许可形式开放。代码已经放在 GitHub 上，模型权重则托管在 Hugging Face，需要在对应页面签署协议后获取。

如果你不想自己折腾部署，官方在 Hugging Face Spaces 上线了开箱即用的 Gradio 在线体验页面。Stability AI 表示，在收集足够的社区反馈之后，计划未来将它彻底转向更宽松的完全开源协议。

为什么重要

文字渲染和语义对齐一直是扩散模型的阿喀琉斯之踵。DeepFloyd IF 用 T5-XXL 加级联像素扩散的思路证明了一件事：想要画面听话、文字工整，直接给模型换一颗更聪明的语言大脑是行得通的。

不过，像素级级联扩散加上 T5-XXL 这个庞然大物，对显存和推理算力的要求显然不低，现阶段的研究许可也限制了它立刻被搬进商业产品。对于经常需要做海报原型、研究图生图控制或者想探索 ControlNet 新玩法的开发者来说，它绝对是目前最值得拉下来本地跑一跑的前沿底座。