研究團隊提出 ImageRAG：免重新訓練，檢索參考圖搞定生僻生圖

讓 AI 畫一隻金毛犬或者一輛跑車，主流擴散模型閉著眼都能畫得又快又好。但如果你讓它畫一種極冷門的鳥類、特定型號的冷門機械零件，或者某種罕見的植物，模型往往只能靠瞎猜，甚至畫出完全風馬牛不相及的畫面。

來自學界的研究團隊在 ICLR 上公佈了一項名為 ImageRAG 的研究，提出了一套把檢索增強生成引入影像生成的新框架，專門解決擴散模型畫不出罕見概念的問題。

讓視覺語言模型當質檢員

以往要想讓擴散模型學會用檢索來的參考圖，通常需要專門去訓練一套支援檢索的模型，費時費力。ImageRAG 的思路截然不同，它不需要任何專門的 RAG 訓練，而是直接借用現有的影像條件生成能力。

整套流程像是一個帶質檢的繪畫流水線。使用者輸入一段提示詞後，文生圖模型先畫出一張初始影像。

接下來，系統把這張草圖交由一個視覺語言模型（VLM）來審查，判斷畫面是否準確還原了提示詞的要求。

如果發現畫面貨不對板，VLM 會挑出缺失的冷門概念，並自動寫出精準的檢索描述，去外部影像資料庫裡把對應的真實參考圖搜出來。

拿到參考圖後，系統再把它們當作視覺上下文餵給生成模型，重新生成最終畫面。研究團隊測試了 SDXL 和 OmniGen 兩套底座，原本遇到偏門詞就容易抓瞎的模型，在加上檢索機制後，都準確畫出了目標概念。

在包含了 iNaturalist、CUB 鳥類、Aircraft 飛機細分型號以及 ImageNet 的基準測試中，ImageRAG 在 CLIP、SigLIP 圖文相似度以及 DINO 影像特徵相似度上均表現優異。一項由 46 名參與者完成的 767 次人工對比評測也顯示，無論在文本對齊、畫面質感還是綜合偏好上，使用者都更青睞 ImageRAG 生成的影像。

它還能和現有的主體定製方法結合。比如給 OmniGen 一張自家貓的照片，原本模型畫不出複雜的組合場景，但在 ImageRAG 檢索到環境參考後，就能順利畫出我家貓在給一群小狗上課、或者把貓做成樂高積木的畫面。

為什麼重要

大語言模型早已普及了查資料再回答的 RAG 邏輯，但在文生圖領域，大多數人還在死磕擴大模型引數和灌入更多訓練資料。我們認為，ImageRAG 證明了影像生成其實完全不必在模型權重裡死記硬背全世界所有的長尾知識。

對創作者和設計從業者來說，這一思路如果產品化，最大的價值是解決冷門物料生成的開箱即用問題。以前做生物插畫、小眾工業品或者特定歷史道具，必須四處找圖去微調 LoRA，耗時極長；未來只需掛載一個精準的行業相簿，現有模型就能直接調取參考畫出準確認知。

從架構設計上看，這套方案最聰明的地方在於即插即用。它沒有去重新訓練昂貴的擴散模型，而是把工作拆解成草稿、VLM 挑刺、相簿檢索、條件重繪四個步驟，極大地壓低了部署門檻。

不過隱患也同樣明顯。生成一張圖需要經歷生成、VLM 評估、向量檢索和二次重繪等多個環節，推理延遲和算力消耗會明顯上升。對於追求幾秒出圖的消費級場景，這個流程看起來還是偏重，它更適合對精準度要求極高的專業垂直工作流。