FreeFuse 출시: 여러 LoRA를 겹쳐도 얼굴 뭉개짐 없이 깔끔하게 합성

AI 이미지 생성에서 여러 LoRA를 함께 쓰는 작업은 늘 까다로웠습니다. 두 명의 특정 캐릭터를 한 화면에 넣고 별도 스타일이나 소품 LoRA까지 더하면, 얼굴이 서로 섞이거나 스타일이 뭉개지며 기형적인 결과물이 나오기 일쑤였습니다.

새롭게 등장한 FreeFuse는 이러한 충돌을 해결하기 위해 개발된 무학습(training-free) 프레임워크입니다.

토큰 단위 라우팅으로 충돌 방지

기존 방식대로 여러 LoRA 가중치를 그대로 겹치면 서로 다른 특징들이 이미지 전체에서 부딪히며 왜곡을 일으킵니다.

FreeFuse는 적응형 토큰 수준 라우팅(adaptive token-level routing) 방식을 사용합니다. 생성 과정에서 각 대상 토큰을 알맞은 이미지 영역으로 동적 할당해, 각 LoRA의 영향력이 서로를 침범하지 않도록 제어합니다.

SDXL 및 Zimage 비교 결과에 따르면, FreeFuse 없이 생성했을 때 흔히 나타나는 얼굴 왜곡 현상이 크게 줄고 캐릭터 일관성이 뚜렷하게 개선되었습니다.

현재 ComfyUI를 공식 지원하여 즉시 워크플로에 적용할 수 있으며, ComfyUI 환경 내 Zimage Turbo 구동도 지원합니다. 개발팀은 향후 Flux 2 클라이언트 지원도 추가할 계획입니다.

왜 중요한가

창작자 입장에서 여러 요소를 조합할 때마다 인페인팅이나 복잡한 레이어 합성 작업을 거치지 않고 초기 생성 단계에서 구조를 잡을 수 있다는 점은 작업 시간을 크게 아껴줍니다.

우리는 FreeFuse가 추가 재학습 없이 추론 시점의 토큰 라우팅만으로 문제를 해결한 점을 영리한 선택으로 봅니다. 진입 장벽이 낮아 누구나 쉽게 도입해 볼 만하지만, 캐릭터나 소품이 서로 빽빽하게 겹치는 복잡한 상호작용 구도에서도 영역 분리가 완벽히 유지될지는 실사용 데이터가 더 쌓여봐야 알 수 있습니다.