비대칭 플로우 모델 AsymFlow 발표: VAE 없이 픽셀 공간에서 직접 이미지 생성

AI로 이미지를 만들다 보면 피부가 지나치게 미끈거리거나 디테일이 뭉개지는 특유의 인위적인 느낌을 자주 접하게 됩니다. 이는 대부분의 모델이 연산량을 아끼기 위해 압축된 잠재 공간에서 이미지를 그린 뒤, VAE를 통해 픽셀로 변환하는 방식을 쓰기 때문입니다.

연구진은 잠재 공간과 VAE를 완전히 거치지 않고 실제 눈에 보이는 픽셀 공간에서 바로 이미지를 생성하는 비대칭 플로우 모델(AsymFlow)을 발표했습니다.

고차원 노이즈를 저차원으로 묶어두다

픽셀 공간에서 직접 이미지를 그리는 방식은 디테일 면에서 유리하지만, 그동안은 속도가 너무 느리고 연산 비용이 커 널리 쓰이지 못했습니다. 압축되지 않은 고차원 공간에서는 네트워크가 이미지뿐만 아니라 무작위 노이즈까지 복잡하게 예측하느라 모델 용량을 낭비하기 때문입니다.

AsymFlow는 비대칭 속도 매개변수화 기법을 통해 이 문제를 풀어냈습니다.

데이터 예측은 전체 차원을 유지하되, 노이즈 예측만 부분적인 저차원 부분 공간으로 제한하는 방식입니다. 이렇게 예측된 값으로부터 전체 속도를 수식으로 복원해 내기 때문에 모델 아키텍처를 뜯어고칠 필요가 없습니다.

불필요한 노이즈 예측 부담을 덜어내면서 모델의 생성 속도는 40% 빨라졌고, 픽셀 단위 작업에서 발목을 잡던 연산 병목도 사라졌습니다.

FLUX.2를 픽셀 모델로 업그레이드하다

성능 결과도 눈에 띕니다. ImageNet 256x256 벤치마크에서 AsymFlow는 1.57 FID를 기록하며 기존 PixelDiT나 JiT 같은 픽셀 확산 모델들을 큰 격차로 따돌렸습니다.

더 중요한 점은 기존에 학습된 잠재 공간 모델을 픽셀 모델로 미세조정할 수 있는 길을 열었다는 것입니다. 저차원 픽셀 부분 공간을 기존 잠재 공간과 정렬시키면, 밑바닥부터 다시 학습하지 않고도 원래 모델의 구도와 의미 이해 능력을 그대로 이어받을 수 있습니다.

연구진이 90억 파라미터 규모의 FLUX.2 klein을 미세조정해 만든 AsymFLUX.2 klein은 HPSv3, DPG-Bench, GenEval 등 주요 평가에서 원본 잠재 모델을 앞섰습니다. 육안으로 보아도 머리카락이나 질감 표현에서 인위적인 느낌이 확연히 줄고 디테일이 날카로워졌습니다.

왜 중요한가

우리는 AsymFlow가 이미지 생성 모델의 아키텍처 흐름을 바꾸는 계기가 될 것으로 봅니다.

창작자와 사용자 입장에서는 VAE 해독 과정에서 손실되던 미세한 질감을 그대로 보존할 수 있다는 점이 가장 큽니다. 모공이나 옷감의 결처럼 섬세한 표현을 살리기 위해 번거로운 업스케일링이나 후가공에 매달릴 필요가 줄어듭니다.

업계 전반으로 보면, 지난 몇 년간 정설처럼 굳어졌던 잠재 공간 기반 설계의 한계를 뛰어넘었다는 데 의미가 있습니다. 기존 자산을 버리지 않고도 픽셀 공간 모델로 전환할 수 있는 효율적인 통로를 열어주었기 때문입니다. 고해상도 처리 시 메모리 부담 등은 여전히 해결해야 할 과제지만, AI 생성 이미지가 진짜 사진에 한 걸음 더 가까워진 것은 분명합니다.