跳到正文
IFAI

開源專案

Gen-Searcher 框架開源:先聯網搜參考圖再出圖,解決生圖盲區

首次發布 傳播指數 48

研究團隊開源影像生成框架 Gen-Searcher。它利用搜索代理先在網上檢索參考圖與事實資訊,再輔助出圖,能解決特定角色、冷門地點和資料的事實盲區,且相容開源與閉源底模。

Gen-Searcher 框架開源:先聯網搜參考圖再出圖,解決生圖盲區
圖:arxiv.org

讓現在的生圖模型畫個未來科幻城市,它們能畫得天花亂墜;但如果你讓它畫《鳴潮》裡某個特定角色的官方設定,或者某座真實大樓門口標上總建築師名字和竣工年份,它大機率只能當場瞎編。

大語言模型早就學會了聯網搜尋,生圖模型卻一直被困在訓練時封存的內部記憶裡。3 月 30 日,研究團隊開源了影像生成代理框架 Gen-Searcher,試圖補上這一塊短板:在動筆畫圖前,先派搜尋代理去網際網路上把參考圖和背景事實扒下來。

像人類畫手一樣先查參考資料

Gen-Searcher 的思路說白了很符合直覺,就像畫師接單後先去搜素材一樣。

它本質上是一個搜尋增強的影像生成代理框架。面對需要特定知識的提示詞,它會先進行多跳推理和搜尋,把需要的文本事實和參考圖抓取回來,再把這些內容交給底層的生圖模型做參考生成。

舉個例子,如果提示詞要求做一張極度偏遠地區的資訊圖海報,包含格陵蘭某地、皮特凱恩群島的風貌,甚至還要標明 3 月 15 日的日溫區間。普通模型根本猜不中準確溫度,但 Gen-Searcher 會先檢索到這些地點的參考圖和當天真實氣溫,再畫進海報裡。

更方便的是,這個框架本身是模型無關的。不管底層接的是開源影像模型還是閉源模型,都能直接套用它的搜尋生成管線。

抓圖和抓事實的雙重獎勵訓練

為了訓練這個搜圖代理,團隊構建了定製的資料流水線,整理出 Gen-Searcher-SFT-10k 和 Gen-Searcher-RL-6k 兩個資料集,涵蓋了大量依賴搜尋的複雜提示詞與真實參考圖。

他們還推出了專門的評測基準 KnowGen,用來衡量模型在依賴外部知識時的生圖表現。

在訓練機制上,團隊先做監督微調(SFT),隨後利用結合了文本獎勵與影像獎勵的雙重反饋機制,配合 GRPO 演算法進行強化學習訓練,保證搜尋代理既能找準文字事實,也能挑對參考圖片。

實驗資料顯示,接入 Gen-Searcher 後,基礎模型 Qwen-Image 在 KnowGen 基準上的得分提升了約 16 分,在 WISE 基準上也提高了 15 分。目前,團隊已經把相關程式碼、模型權重和資料集完整開源。

為什麼重要

我們認為,Gen-Searcher 抓住了文生圖走向工業落地時最尷尬的一個痛點:好看但不保真。

對於做海報設計、IP 同人創作、建築效果圖或者新聞配圖的創作者來說,以往最耗時的往往不是生成那一步,而是反覆挑墊圖、寫複雜的 control 提示詞。如果生圖工具能自己聯網搜官方立繪、搜準確事實並自動融合,整個創作門檻會直接降一大截。目前程式碼和權重已經開源,對於開發者和折騰生圖管線的人來說,非常值得接入測試。

從行業角度看,文本大模型走過的 RAG 和 Agent 路線,現在正式被複制到了影像生成領域。把龐大的世界知識從生圖模型的權重裡剝離出來,交給輕量、可即時更新的搜尋代理去抓取,顯然比反覆重訓幾十億引數的底模要聰明得多、經濟得多。

不過這也帶來了新的隱患:生成結果的好壞極度依賴搜尋引擎返回的前幾個結果。如果網上充斥著同人的二創圖或錯誤的氣象記錄,代理抓錯參考源,生成的幻覺只會變得更隱蔽、更具欺騙性。但這依然是一次非常有價值的工程躍遷,開源生態很可能迅速跟進這類組合玩法。

來源 (1)

  1. [1]

每日 AI 內容精選