研究团队提出 ImageRAG：免重新训练，检索参考图搞定生僻生图

让 AI 画一只金毛犬或者一辆跑车，主流扩散模型闭着眼都能画得又快又好。但如果你让它画一种极冷门的鸟类、特定型号的冷门机械零件，或者某种罕见的植物，模型往往只能靠瞎猜，甚至画出完全风马牛不相及的画面。

来自学界的研究团队在 ICLR 上公布了一项名为 ImageRAG 的研究，提出了一套把检索增强生成引入图像生成的新框架，专门解决扩散模型画不出罕见概念的问题。

让视觉语言模型当质检员

以往要想让扩散模型学会用检索来的参考图，通常需要专门去训练一套支持检索的模型，费时费力。ImageRAG 的思路截然不同，它不需要任何专门的 RAG 训练，而是直接借用现有的图像条件生成能力。

整套流程像是一个带质检的绘画流水线。用户输入一段提示词后，文生图模型先画出一张初始图像。

接下来，系统把这张草图交由一个视觉语言模型（VLM）来审查，判断画面是否准确还原了提示词的要求。

如果发现画面货不对板，VLM 会挑出缺失的冷门概念，并自动写出精准的检索描述，去外部图像数据库里把对应的真实参考图搜出来。

拿到参考图后，系统再把它们当作视觉上下文喂给生成模型，重新生成最终画面。研究团队测试了 SDXL 和 OmniGen 两套底座，原本遇到偏门词就容易抓瞎的模型，在加上检索机制后，都准确画出了目标概念。

在包含了 iNaturalist、CUB 鸟类、Aircraft 飞机细分型号以及 ImageNet 的基准测试中，ImageRAG 在 CLIP、SigLIP 图文相似度以及 DINO 图像特征相似度上均表现优异。一项由 46 名参与者完成的 767 次人工对比评测也显示，无论在文本对齐、画面质感还是综合偏好上，用户都更青睐 ImageRAG 生成的图像。

它还能和现有的主体定制方法结合。比如给 OmniGen 一张自家猫的照片，原本模型画不出复杂的组合场景，但在 ImageRAG 检索到环境参考后，就能顺利画出我家猫在给一群小狗上课、或者把猫做成乐高积木的画面。

为什么重要

大语言模型早已普及了查资料再回答的 RAG 逻辑，但在文生图领域，大多数人还在死磕扩大模型参数和灌入更多训练数据。我们认为，ImageRAG 证明了图像生成其实完全不必在模型权重里死记硬背全世界所有的长尾知识。

对创作者和设计从业者来说，这一思路如果产品化，最大的价值是解决冷门物料生成的开箱即用问题。以前做生物插画、小众工业品或者特定历史道具，必须四处找图去微调 LoRA，耗时极长；未来只需挂载一个精准的行业图库，现有模型就能直接调取参考画出准确认知。

从架构设计上看，这套方案最聪明的地方在于即插即用。它没有去重新训练昂贵的扩散模型，而是把工作拆解成草稿、VLM 挑刺、图库检索、条件重绘四个步骤，极大地压低了部署门槛。

不过隐患也同样明显。生成一张图需要经历生成、VLM 评估、向量检索和二次重绘等多个环节，推理延迟和算力消耗会明显上升。对于追求几秒出图的消费级场景，这个流程看起来还是偏重，它更适合对精准度要求极高的专业垂直工作流。