디퓨전 모델 추격하는 'TARFlow' 공개: 트랜스포머 기반 정규화 흐름의 부활

지난 몇 년간 생성형 AI의 무대는 디퓨전 모델이 완전히 독점하다시피 했습니다.

데이터를 가우시안 노이즈로 맵핑하고 이를 역방향으로 실행해 데이터를 생성하는 정규화 흐름(Normalizing Flows)은 이론적으로 매우 우아하지만, 실질적인 결과물 품질에서 GAN과 디퓨전에 밀려 사실상 연구실 구석으로 밀려나 있었습니다.

하지만 연구진이 공개한 'TARFlow'는 정규화 흐름의 잠재력이 결코 끝나지 않았음을 증명하며 화려한 복귀를 알렸습니다.

트랜스포머 엔진으로 갈아 끼운 가역 네트워크

과거 RealNVP나 Glow 같은 고전적 모델들이 한계를 맞은 이유는 원리 자체의 결함이 아니라 얕은 결합 계층(Coupling Layer)의 표현력 한계 때문이었습니다.

TARFlow는 이 구조적 병목을 자기회귀 트랜스포머로 단숨에 뚫어냈습니다. 대규모 언어 모델이 토큰을 다루듯 깊은 트랜스포머 블록이 모델 용량의 대부분을 담당하도록 설계했습니다.

여기에 스캔 방향을 번갈아 처리하는 가벼운 얕은 블록들을 결합해 국소적 디테일을 잡으면서도 역방향 병렬 처리를 가능하게 만들었습니다.

이산화 과정이나 코드북 없이 연속 공간에서 단 하나의 가역 네트워크와 단일 가중치로 인코딩과 생성을 완벽하게 양방향으로 수행합니다.

노이즈 잡고 품질 끌어올린 세 가지 비결

학습 방식과 제어 기법에서도 결정적인 진전이 있었습니다.

정규화 흐름은 깨끗한 데이터로 엄밀한 최대우도 학습을 진행할 때 고주파 디테일에 과적합되어 결과물에 자글자글한 노이즈가 끼는 문제가 있었습니다. TARFlow는 학습 단계의 가우시안 노이즈 증강과 샘플링 시점의 경량 후처리 디노이저를 조합해 이 문제를 말끔히 해결했습니다.

더 중요한 변화는 가이던스(Guidance) 기법의 도입입니다.

기존 흐름 모델은 품질과 다양성을 조율할 조절 노브가 없었지만, 깊은 트랜스포머 블록에 가이던스 레시피를 새롭게 적용하면서 디퓨전 수준의 고해상도 이미지와 비디오 생성 품질을 확보했습니다.

왜 중요한가

우리는 TARFlow가 생성 모델 생태계에 팽배했던 단일 아키텍처 의존증에 강력한 대안을 제시했다고 봅니다.

현재 업계는 이미지와 비디오 생성을 위해 다단계 반복 연산이 불가피한 디퓨전 모델에 막대한 비용을 지불하고 있습니다. 반면 정규화 흐름은 단일 가역 네트워크로 동작하므로 아키텍처가 단순하고 수학적으로 매우 정교합니다.

당장 일반 창작자가 설치해서 쓸 수 있는 상용 프로그램 단계는 아니지만, 비디오 월드 모델과 연속 공간 멀티모달 모델을 설계하는 개발팀에게는 획기적인 연구 기반이 마련되었습니다.

기존 기술의 이론적 잠재력도 현대적인 트랜스포머 확장성과 결합하면 얼마든지 판도를 뒤흔들 수 있다는 사실을 잘 보여준 사례입니다.