바이트댄스, 이미지 생성서 '앞뒤·좌우' 정확히 배치하는 공간 보상 모델 공개

바이트댄스 연구팀이 이미지 생성 모델의 고질적인 약점인 '앞뒤·좌우' 공간 배치 오류를 해결하는 공간 보상 모델링 프레임워크를 발표했습니다. 프롬프트에 물체 위치를 상세히 적어도 번번이 엉뚱한 자리에 그려져 다시 뽑기를 반복했던 이용자들에게 유용한 프로젝트입니다.

무엇을 해결하는가

최근 텍스트 기반 이미지 생성 모델은 화질과 묘사력이 뛰어나지만, 여러 물체 간의 상대적 위치를 지정하면 쉽게 꼬여버립니다.

식탁 위에 세 개의 촛대를 왼쪽부터 키 순서대로 세우고, 가운데 촛대 뒤에 과일 그릇을 두고, 양쪽 촛대 앞에는 접시를 놓으며, 벽면 그림을 그릇에 맞추라는 복잡한 배치를 요구하면 기본 Flux 모델은 위치를 제대로 맞추지 못합니다.

하지만 이 프레임워크를 적용하면 모델이 각 물체의 위치 지시를 정확히 반영해 올바른 구도로 배치해 냅니다. 안락의자와 원탁, 플로어 램프와 찻잔의 관계는 물론 자동차, 러버콘, 가방, 물병 등의 복잡한 야외 배치에서도 같은 개선 효과를 보였습니다.

구현 방식과 공개 계획

연구팀은 거대 모델을 처음부터 다시 학습하는 대신 보상 모델과 강화학습을 결합하는 방식을 택했습니다.

먼저 8만 개 이상의 선호도 쌍으로 구성된 'SpatialReward-Dataset'을 구축했습니다. 프롬프트마다 정상 배치 이미지와 위치 관계를 일부러 왜곡한 오답 이미지를 짝지어 구성한 데이터입니다.

이 데이터를 기반으로 공간 평가 전문 보상 모델인 'SpatialScore'를 훈련했습니다. 논문에 따르면 공간 관계 평가 성능 면에서 주요 상용 폐쇄형 모델보다 높은 정확도를 기록했습니다.

이후 이 보상 모델을 온라인 강화학습에 연동해 이미지 생성 모델이 복잡한 배치를 생성할 때 실수를 피하도록 유도했습니다. 연구팀은 현재 관련 논문을 공개한 상태이며, 8만여 건의 데이터셋과 모델 가중치도 오픈소스로 공개할 계획입니다.

왜 중요한가

이미지 생성 기술이 실무와 상업적 디자인에 쓰이려면 화풍보다 정확한 레이아웃 제어가 필수적입니다. 아무리 사실적으로 그려도 위치가 틀리면 버려지는 이미지가 되기 때문입니다.

기반 모델 전체를 새로 학습시키지 않고, 특화된 평가 모델을 붙여 생성 정확도를 끌어올린 점은 매우 실용적인 접근입니다. 가중치가 정식 공개되면 로컬 환경에서 Flux 등을 활용해 정밀한 구도를 잡으려는 창작자들에게 필수 도구로 자리 잡을 것으로 보입니다.