跳到正文
IFAI

开源项目

Gen-Searcher 框架开源:先联网搜参考图再出图,解决生图盲区

首次发布 传播指数 48

研究团队开源图像生成框架 Gen-Searcher。它利用搜索代理先在网上检索参考图与事实信息,再辅助出图,能解决特定角色、冷门地点和数据的事实盲区,且兼容开源与闭源底模。

Gen-Searcher 框架开源:先联网搜参考图再出图,解决生图盲区
图:arxiv.org

让现在的生图模型画个未来科幻城市,它们能画得天花乱坠;但如果你让它画《鸣潮》里某个特定角色的官方设定,或者某座真实大楼门口标上总建筑师名字和竣工年份,它大概率只能当场瞎编。

大语言模型早就学会了联网搜索,生图模型却一直被困在训练时封存的内部记忆里。3 月 30 日,研究团队开源了图像生成代理框架 Gen-Searcher,试图补上这一块短板:在动笔画图前,先派搜索代理去互联网上把参考图和背景事实扒下来。

像人类画手一样先查参考资料

Gen-Searcher 的思路说白了很符合直觉,就像画师接单后先去搜素材一样。

它本质上是一个搜索增强的图像生成代理框架。面对需要特定知识的提示词,它会先进行多跳推理和搜索,把需要的文本事实和参考图抓取回来,再把这些内容交给底层的生图模型做参考生成。

举个例子,如果提示词要求做一张极度偏远地区的信息图海报,包含格陵兰某地、皮特凯恩群岛的风貌,甚至还要标明 3 月 15 日的日温区间。普通模型根本猜不中准确温度,但 Gen-Searcher 会先检索到这些地点的参考图和当天真实气温,再画进海报里。

更方便的是,这个框架本身是模型无关的。不管底层接的是开源图像模型还是闭源模型,都能直接套用它的搜索生成管线。

抓图和抓事实的双重奖励训练

为了训练这个搜图代理,团队构建了定制的数据流水线,整理出 Gen-Searcher-SFT-10k 和 Gen-Searcher-RL-6k 两个数据集,涵盖了大量依赖搜索的复杂提示词与真实参考图。

他们还推出了专门的评测基准 KnowGen,用来衡量模型在依赖外部知识时的生图表现。

在训练机制上,团队先做监督微调(SFT),随后利用结合了文本奖励与图像奖励的双重反馈机制,配合 GRPO 算法进行强化学习训练,保证搜索代理既能找准文字事实,也能挑对参考图片。

实验数据显示,接入 Gen-Searcher 后,基础模型 Qwen-Image 在 KnowGen 基准上的得分提升了约 16 分,在 WISE 基准上也提高了 15 分。目前,团队已经把相关代码、模型权重和数据集完整开源。

为什么重要

我们认为,Gen-Searcher 抓住了文生图走向工业落地时最尴尬的一个痛点:好看但不保真。

对于做海报设计、IP 同人创作、建筑效果图或者新闻配图的创作者来说,以往最耗时的往往不是生成那一步,而是反复挑垫图、写复杂的 control 提示词。如果生图工具能自己联网搜官方立绘、搜准确事实并自动融合,整个创作门槛会直接降一大截。目前代码和权重已经开源,对于开发者和折腾生图管线的人来说,非常值得接入测试。

从行业角度看,文本大模型走过的 RAG 和 Agent 路线,现在正式被复制到了图像生成领域。把庞大的世界知识从生图模型的权重里剥离出来,交给轻量、可实时更新的搜索代理去抓取,显然比反复重训几十亿参数的底模要聪明得多、经济得多。

不过这也带来了新的隐患:生成结果的好坏极度依赖搜索引擎返回的前几个结果。如果网上充斥着同人的二创图或错误的气象记录,代理抓错参考源,生成的幻觉只会变得更隐蔽、更具欺骗性。但这依然是一次非常有价值的工程跃迁,开源生态很可能迅速跟进这类组合玩法。

来源 (1)

  1. [1]

每日 AI 内容精选