희귀 개념도 척척…참조 이미지 검색해 그림 그리는 'ImageRAG' 공개

골든 리트리버나 최신 스마트폰처럼 흔한 대상은 디퓨전 모델이 손쉽게 그려내지만, 희귀한 조류 품종이나 생소한 기계 부품 같은 롱테일 개념을 요구하면 엉뚱한 이미지를 내놓기 일쑤입니다.

연구진이 ICLR에서 발표한 논문 ImageRAG는 대형언어모델에서 널리 쓰이는 검색 증강 생성(RAG)을 이미지 생성에 도입해, 모델이 학습하지 못했거나 드문 개념을 정확하게 시각화하는 방법을 제안했습니다.

VLM이 초안을 검수하고 레퍼런스를 검색하는 구조

이전에도 검색된 이미지를 활용하려는 시도는 있었지만, 대개 검색 기반 생성을 위해 모델을 처음부터 따로 학습시켜야 했습니다. 반면 ImageRAG는 RAG를 위한 별도 학습 없이 기존의 레퍼런스 기반 이미지 조건부 생성 모델을 그대로 활용합니다.

작동 방식은 직관적입니다. 사용자가 프롬프트를 입력하면 텍스트-투-이미지 모델이 먼저 초안 이미지를 하나 생성합니다.

그다음 시각언어모델(VLM)이 검수관 역할을 맡아 초안이 입력 프롬프트의 요구사항을 제대로 반영했는지 점검합니다.

만약 놓친 개념이 있다면 VLM이 누락된 대상을 식별하고, 외부 이미지 데이터베이스에서 적절한 예시를 찾을 수 있는 검색용 캡션을 작성합니다.

이렇게 찾아낸 레퍼런스 이미지를 다시 조건부 모델의 시각적 맥락으로 전달해 최종 결과물을 완성합니다. 연구진이 SDXL과 OmniGen에 이 방식을 적용한 결과, 평소 전혀 엉뚱한 그림을 내놓던 희귀 개념 프롬프트에서도 정확한 이미지가 생성되었습니다.

iNaturalist, CUB 조류, Aircraft 항공기, ImageNet 데이터셋을 활용한 세부 평가에서 CLIP, SigLIP 텍스트 유사도 및 실제 이미지와의 DINO 유사도 모두 우수한 수치를 기록했습니다. 46명이 참여해 767건을 비교 평가한 블라인드 사용자 조사에서도 텍스트 일치도와 화질 모두 ImageRAG가 높은 선호도를 얻었습니다.

개인화 기술과의 결합도 가능합니다. 예를 들어 OmniGen에 내 고양이 사진을 주었을 때 기존에는 표현하기 어려웠던 내 고양이가 강아지들에게 수업을 가르치는 모습이나 레고 블록으로 조립된 고양이 같은 복잡한 연출도 외부 레퍼런스를 참조해 자연스럽게 풀어냅니다.

왜 중요한가

텍스트 LLM이 외부 검색을 통해 지식을 확장하듯, 이미지 생성 모델 역시 모든 희귀 사물을 파라미터 안에 억지로 우겨넣을 필요가 없음을 증명한 연구입니다. 우리는 이 방식이 향후 전문 시각 생성 파이프라인의 중요한 표준이 될 수 있다고 봅니다.

일반 창작자나 특수 산업군 종사자 관점에서는 시간 비용을 극적으로 아낄 수 있습니다. 희귀 생물 도감이나 특정 공학 부품을 시각화하기 위해 매번 LoRA를 파인튜닝할 필요 없이, 공인된 레퍼런스 라이브러리만 연동해 두면 기본 모델로도 오차 없는 결과물을 뽑아낼 수 있기 때문입니다.

접근법 자체도 영리합니다. 디퓨전 모델 자체를 무겁게 재학습하는 대신 초안 생성, VLM의 누락 요소 판별, 벡터 검색, 조건부 렌더링으로 역할을 분리해 기존 오픈소스 모델에 즉시 얹어 쓸 수 있습니다.

다만 레이턴시 증가는 분명한 한계입니다. 한 번의 요청에 초안 생성과 VLM 검수, 검색, 2차 생성까지 거쳐야 하므로 일반적인 단일 생성보다 연산량과 대기 시간이 길어질 수밖에 없습니다. 몇 초 만에 이미지를 뽑아야 하는 일반 소비자 앱보다는 정확도가 생명인 전문 워크플로우에 먼저 자리 잡을 것으로 보입니다.