拡散モデルの苦手な希少概念を克服　画像検索で補う「ImageRAG」発表

画像生成AIは犬やスポーツカーなら見事に描けますが、珍しい野鳥やマニアックな工業部品、マイナーな植物などを描かせようとすると、途端に幻覚を起こして的外れな画像を出力しがちです。

研究チームが国際会議ICLRで発表した新手法ImageRAGは、言語モデルでおなじみの検索拡張生成（RAG）を画像生成に持ち込み、この長尾の概念を描けない問題を解決しようとしています。

VLMが下書きを検品して検索する仕組み

これまで画像を検索して生成に生かす試みは、検索専用にモデルを追加学習させるのが一般的でした。しかしImageRAGは、検索用の追加学習を一切必要とせず、既存の条件付き画像生成モデルをそのまま活用します。

処理の流れはシンプルです。まずテキストプロンプトを受け取った生成モデルが、初期画像を1枚出力します。

次に、視覚言語モデル（VLM）がプロンプトと初期画像を見比べ、指示された概念が正しく描かれているかを判定します。

足りない要素や間違っている部分があれば、VLMが不足している概念をリストアップし、外部データベースから参考画像を探すための検索用キャプションを自動作成します。

外部から取得した参考画像を条件として既存モデルに与えることで、目的の概念が正しく反映された最終画像を作り出します。SDXLやOmniGenを使った実験では、従来は見当違いな画像を出していた珍しい概念でも、正しく描画できるようになりました。

ImageNetやiNaturalist、CUB（鳥類）、Aircraftなどのデータセットを用いた評価において、CLIPやSigLIPのテキスト類似度、実画像とのDINO類似度で高いスコアを記録しました。46名が参加した計767回のブラインドテストでも、テキスト一致度と画質の両面でImageRAGが高い支持を得ています。

さらに、特定主体の画風や被写体を維持するパーソナライズ技術とも併用できます。自分の飼い猫の写真を渡した上で、従来は難しかった「猫が犬のクラスで授業をしている場面」や「レゴブロックでできた猫」といった複雑なシーンも、外部の参考画像を手がかりに高精度に描き出せます。

なぜ重要か

テキスト生成では知識を外部検索に頼るRAGが標準になりましたが、画像生成では依然としてモデル自体のパラメータを増やして世界中の事物を暗記させようとする傾向が続いていました。ImageRAGは、画像生成でも外部データベースを参照するアプローチが極めて有効であることを示しています。

専門職のクリエイターや産業用途にとって、この手法の価値は絶大です。珍しい生物や特定年代の小道具、ニッチな製品を忠実に描くために、毎回LoRAを追加学習させる手間が省ける可能性があります。社内の画像カタログを接続するだけで、既成モデルがそのまま特定ドメインに対応できる道が開けます。

手法としての巧さは、拡散モデル本体を再学習せず、VLMによる画像評価と既存の参照条件付けを組み合わせたモジュール構造にあります。新しい基盤モデルが登場してもそのまま載せ替えやすい設計です。

一方で課題は推論コストです。初期生成、VLMによるチェック、画像検索、参照画像を用いた再生成という複数ステップを踏むため、生成にかかる時間と計算リソースは確実に増えます。数秒での即時出力が求められる一般向けサービスよりも、正確性が何より優先されるプロフェッショナルな制作環境に向いていると見られます。