Stability AI 釋出 DeepFloyd IF：能直接在圖片裡精準渲染文字

DeepFloyd IF 是 Stability AI 旗下多模態實驗室 DeepFloyd 推出的一款文生圖模型，最顯眼的本領是能在生成的圖片裡直接把單詞寫對、把排版排好。

過去無論是 Stable Diffusion 還是其他文生圖模型，一碰到要在畫面裡寫招牌、做海報，字母往往就會糊成一團亂碼。DeepFloyd IF 專門針對這個痛點做了設計，能讓畫面中的文字清晰可讀，還能按照提示詞把多個物體和空間方位安排得妥妥當當。

它能做到什麼

DeepFloyd IF 在理解長文本和複雜提示詞上有明顯優勢。除了能準確渲染英文字元，它還能處理不同物體之間的複雜空間關係。

畫質方面，它在 COCO 資料集上的零樣本 FID 得分達到了 6.66。這個指標越低代表生成的圖片越真實，6.66 在同類開源模型裡屬於相當拔尖的水平。

此外，它不侷限於標準的正方形圖片，能原生支援橫向或豎向的非標準長寬比生成。模型還支援零樣本圖生圖，通過將原圖縮小到 64 畫素、加噪後再用新提示詞去噪，就能在保留構圖輪廓的前提下直接更換畫風或區域性重繪，全程不需要額外微調。

它是怎麼跑起來的

DeepFloyd IF 的核心秘密在於架構選擇。它不是像原版 Stable Diffusion 那樣在潛在空間做擴散，而是直接在畫素級做擴散的級聯模型。

整套流程是模組化的。系統先用一個基礎模型生成 64 畫素的低解析度圖片，隨後再由兩級超解析度放大模組接力，一步步提升到高解析度大圖。

在理解提示詞這一端，它直接搬來了擁有龐大引數的大語言模型 T5-XXL-1.1 作為文本編碼器。配合大量的圖文交叉注意力層，模型才能把複雜的文字指令和畫面細節死死咬合在一起。

訓練資料方面，它使用的是經過深度清洗的高美感資料集 LAION-A，包含 10 億個圖文對。團隊通過相似雜湊去重，並用自定義過濾器剔除了水印、成人內容以及其他低質素材。

開源程度與怎麼試

DeepFloyd IF 目前以非商用的研究許可形式開放。程式碼已經放在 GitHub 上，模型權重則託管在 Hugging Face，需要在對應頁面簽署協議後獲取。

如果你不想自己折騰部署，官方在 Hugging Face Spaces 上線了開箱即用的 Gradio 線上體驗頁面。Stability AI 表示，在收集足夠的社群反饋之後，計劃未來將它徹底轉向更寬鬆的完全開源協議。

為什麼重要

文字渲染和語義對齊一直是擴散模型的阿喀琉斯之踵。DeepFloyd IF 用 T5-XXL 加級聯畫素擴散的思路證明了一件事：想要畫面聽話、文字工整，直接給模型換一顆更聰明的語言大腦是行得通的。

不過，畫素級級聯擴散加上 T5-XXL 這個龐然大物，對視訊記憶體和推理算力的要求顯然不低，現階段的研究許可也限制了它立刻被搬進商業產品。對於經常需要做海報原型、研究圖生圖控制或者想探索 ControlNet 新玩法的開發者來說，它絕對是目前最值得拉下來本地跑一跑的前沿底座。