拡散モデルの苦手な希少概念を克服 画像検索で補う「ImageRAG」発表
研究チームは、画像生成モデルに検索拡張生成(RAG)を組み合わせる新手法「ImageRAG」を発表した。VLMが初稿の不足要素を判定して外部から参考画像を検索し生成を誘導する仕組みで、モデルの再学習は不要。SDXLやOmniGenで珍しい概念の生成精度が大幅に向上した。
研究チームは、画像生成モデルに検索拡張生成(RAG)を組み合わせる新手法「ImageRAG」を発表した。VLMが初稿の不足要素を判定して外部から参考画像を検索し生成を誘導する仕組みで、モデルの再学習は不要。SDXLやOmniGenで珍しい概念の生成精度が大幅に向上した。