이미지 생성 전 웹 검색 거치는 프레임워크 'Gen-Searcher' 공개

최신 이미지 생성 모델에 사이버펑크 도시를 그려달라고 하면 숨 막힐 듯 화려한 결과물을 내놓습니다. 하지만 게임 《명조》의 특정 캐릭터 공식 설정이나, 실제 빌딩 입구에 총괄 건축가 이름과 준공 연도를 정확히 새겨달라고 요청하면 곧장 그럴듯한 거짓말을 지어내기 일쑤입니다.

대규모 언어 모델이 일찌감치 웹 검색을 탑재한 것과 달리, 이미지 모델은 여전히 학습 당시 동결된 내부 지식에 갇혀 있었습니다. 3월 30일, 연구진은 이미지를 그리기 전 검색 에이전트가 웹에서 참고 이미지와 사실 정보를 먼저 긁어오는 프레임워크 'Gen-Searcher'를 오픈소스로 공개했습니다.

인간 일러스트레이터처럼 레퍼런스부터 찾는다

Gen-Searcher의 구동 방식은 사람이 외주 작업을 시작할 때 참고 자료부터 수집하는 과정과 똑같습니다.

지식 집약적인 프롬프트가 주어지면, 멀티홉 추론을 통해 무엇을 찾아야 하는지 판단한 뒤 웹 검색을 가동합니다. 생성에 필요한 텍스트 지식과 레퍼런스 이미지를 먼저 확보한 후, 이를 기본 이미지 생성 모델에 전달해 시각화하는 구조입니다.

예컨대 그린란드의 오지와 피트케언 제도의 풍경을 담고, 3월 15일의 일교차 기온 정보까지 기재한 인포그래픽 포스터를 요청했다고 칩시다. 기존 모델은 실제 기온을 알 수 없어 아무 숫자나 적겠지만, Gen-Searcher는 웹에서 해당 지역의 풍경 사진과 정확한 기온 데이터를 찾아 포스터 디자인에 녹여냅니다.

특히 이 프레임워크는 모델에 구애받지 않는 구조로 설계되었습니다. 오픈소스 디퓨전 모델이든 상용 폐쇄형 API든 상관없이 검색 파이프라인을 그대로 붙여 사용할 수 있습니다.

텍스트와 이미지 이중 보상으로 에이전트 훈련

연구진은 검색 에이전트를 학습시키기 위해 검색 집약적 프롬프트와 정답 이미지로 구성된 Gen-Searcher-SFT-10k 및 Gen-Searcher-RL-6k 데이터셋을 구축했습니다.

외부 지식 기반의 생성 능력을 과학, 대중문화, 뉴스 등 다방면에서 평가하는 벤치마크 'KnowGen'도 함께 공개했습니다.

학습 단계에서는 지도 미세조정(SFT)을 거친 후, 텍스트 일치도와 이미지 시각 일치도를 결합한 이중 보상 피드백을 적용해 GRPO 기반 강화학습을 진행했습니다. 이를 통해 에이전트가 필요한 사실과 적절한 참고 이미지를 안정적으로 찾아내도록 유도했습니다.

실험 결과, Qwen-Image 모델에 Gen-Searcher를 결합했을 때 KnowGen 벤치마크 점수가 약 16점 상승했고, WISE 벤치마크에서도 15점의 성능 향상을 기록했습니다. 현재 코드, 가중치, 데이터셋이 모두 공개되어 있습니다.

왜 중요한가

우리는 Gen-Searcher가 이미지 생성 AI의 실제 실무 도입을 가로막던 최대 난제인 '지식 환각'을 똑똑하게 해결했다고 봅니다.

디자이너나 일러스트레이터에게 가장 번거로운 작업은 이미지를 뽑는 순간이 아니라, 정확한 레퍼런스를 직접 검색해 레퍼런스 제어망에 일일이 집어넣는 과정이었습니다. 공식 캐릭터 디자인이나 실제 건축물 정보를 도구가 스스로 검색해 정확히 반영해 준다면 작업 효율은 비약적으로 올라갑니다. 전체 코드가 열려 있는 만큼, 이미지 파이프라인을 다루는 개발자라면 바로 테스트해 볼 가치가 충분합니다.

산업적 관점에서도 의미가 큽니다. 텍스트 모델에서 입증된 RAG와 검색 에이전트 구조가 드디어 이미지 합성 영역으로 자연스럽게 이식되었습니다. 수시로 변하는 세상의 지식을 거대한 이미지 모델 가중치에 매번 다시 학습시키는 대신, 가벼운 검색 에이전트에 외주를 주는 방식이 비용 면에서도 훨씬 유리합니다.

다만 검색 결과의 품질에 결과물이 크게 좌우된다는 점은 여전히 한계입니다. 검색 상위에 잘못된 팬아트나 왜곡된 정보가 걸릴 경우, 오히려 더 정교하고 그럴듯한 환각 이미지를 만들어낼 위험이 있습니다. 그럼에도 이미지 생성이 '상상에 의존한 드로잉'에서 '근거에 기반한 시각화'로 넘어가는 중요한 전환점을 보여준 프로젝트입니다.