디퓨전 모델 추론 스케일링 연구: 노이즈 탐색으로 이미지 생성 품질 대폭 개선

AI 이미지 생성을 써본 사람이라면 누구나 겪는 일이 있습니다. 디노이징 스텝 수를 20에서 50으로 늘리면 디테일이 확 살아나지만, 100이나 200으로 올려봤자 화질은 제자리걸음이고 그래픽카드만 혹사당하기 십상입니다.

대규모 언어 모델이 추론 시간 확장으로 성능을 크게 끌어올리는 동안, 이미지 확산 모델은 스텝 수라는 틀에 갇혀 있었습니다. 1월 16일 arXiv에 공개된 한 논문은 단순히 스텝을 늘리는 방식을 넘어 이미지 생성 모델의 추론 연산량을 확장하는 새로운 방법을 제시했습니다.

더 나은 노이즈를 찾는 탐색의 과정

연구진은 확산 모델이 스텝 수 조절을 통해 추론 연산량을 쉽게 바꿀 수 있지만, 수십 스텝을 넘어가면 성능 개선이 급격히 정체된다는 점을 짚었습니다.

연구진은 단순히 스텝을 더 밟는 대신, 샘플링 과정을 목적에 맞는 더 나은 초기 노이즈를 찾아내는 탐색 문제로 새롭게 정의했습니다.

이 프레임워크는 두 가지 축으로 설계되었습니다. 하나는 피드백을 제공하는 검증기이고, 다른 하나는 더 나은 후보 노이즈를 찾아 나가는 탐색 알고리즘입니다.

클래스 조건 및 텍스트 조건 이미지 생성 벤치마크 실험 결과, 이 프레임워크를 통해 추론 연산량을 늘렸을 때 생성된 이미지 품질이 눈에 띄게 개선되었습니다. 이미지 특성에 맞춰 검증기와 알고리즘을 다양하게 조합할 수도 있습니다.

왜 중요한가

우리는 언어 모델에서 검증된 추론 단계 연산 확장 패러다임을 이미지 생성 분야의 특성에 맞게 효과적으로 적용한 시도라고 평가합니다.

창작자와 사용자 입장에서는 매번 마음에 드는 그림이 나올 때까지 수십 번씩 새로고침을 누르며 눈으로 직접 고르는 피로를 덜 수 있습니다. 모델이 백그라운드에서 몇 초간 더 연산하며 최적의 노이즈 경로를 미리 찾아내 결과물을 내어줄 수 있기 때문입니다.

업계 전반으로 봐도 모델 크기를 무작정 키우는 사전 학습 비용 경쟁에서 벗어날 수 있는 새로운 선택지가 열렸습니다. 가벼운 확산 모델이라도 추론 시점에 충분한 연산을 투입한다면 거대 모델 못지않은 품질을 낼 가능성이 생깁니다.

다만 검증기와 탐색 알고리즘을 돌리는 과정에서 이미지 생성 시간과 서버 비용이 늘어나는 것은 불가피합니다. 실시간 사용성에 지장을 주지 않는 선에서 화질 향상과의 균형을 어떻게 잡을지가 상용화의 핵심 관건으로 보입니다.