엔비디아, VAE 대체하는 PiD 공개…2K AI 이미지 디코딩 1초 내 구현

AI 이미지 생성을 돌려본 사람이라면 누구나 겪는 답답함이 있습니다. 잠재 공간에서는 완벽해 보였던 그림이 막상 고해상도 픽셀로 변환되는 순간 윤곽선과 세부 질감이 뭉개지는 현상입니다.

이 문제의 주범은 거대 모델이 아니라, 압축된 특징을 화면용 픽셀로 복원해 내는 기존 VAE 디코더였습니다. 5월 22일, 엔비디아 연구진은 이 고질적인 병목을 걷어내는 새로운 이미지 디코딩 기술 'PiD'를 공개했습니다.

단순 복원을 넘어 픽셀 확산으로 디테일 생성

대다수 최신 텍스트-투-이미지 모델은 연산 비용을 줄이기 위해 압축된 잠재 공간에서 먼저 그림을 완성한 뒤, 디코더를 거쳐 실제 해상도로 복원합니다.

문제는 전통적인 VAE 디코더의 태생적 한계입니다. 인코더의 압축을 되돌리는 단순 복원에만 최적화되어 있어, 메가픽셀 단위의 고해상도로 갈수록 선명한 디테일을 스스로 채워 넣지 못하고 속도마저 급격히 느려집니다.

PiD는 이 디코딩 과정을 '조건부 픽셀 확산' 방식으로 완전히 뜯어고쳤습니다. 디코딩과 4~8배 업샘플링을 하나의 생성형 모듈로 통합해, 고해상도 픽셀 공간에서 곧바로 노이즈를 걷어내며 그림을 완성합니다.

여기에 DMD2 증류 기법을 적용해 추론 과정을 단 4단계로 줄이며 연산 속도를 대폭 끌어올렸습니다.

또한 가벼운 시그마 인식 어댑터를 덧대어 아직 노이즈가 다 빠지지 않은 중간 단계의 잠재 변수도 디코딩할 수 있게 만들었습니다. 생성 과정을 끝까지 기다리지 않고도 빠른 미리보기를 띄우거나 연산을 조기 종료할 수 있습니다.

RTX 5090에서 2K 변환을 1초 안에 끝낸다

하드웨어 구동 효율 면에서도 확실한 숫자를 증명했습니다.

소비자용 플래그십 그래픽카드인 RTX 5090에서 512×512 크기의 잠재 변수를 2048×2048(2K) 해상도로 디코딩하는 데 걸리는 시간은 1초 미만이었으며, 최대 VRAM 사용량은 약 13GB에 불과했습니다.

데이터센터용 GB200 GPU를 쓰면 이 시간이 210밀리초까지 단축됩니다. 기존의 계단식 확산 초해상도 파이프라인과 비교하면 화질 충실도는 더 높이면서 속도는 약 6배나 빠릅니다.

호환성도 폭넓습니다. FLUX.1이나 SD3 같은 전통적 VAE 기반 모델은 물론, SigLIP이나 DINOv2 기반의 시맨틱 잠재 변수를 활용하는 차세대 아키텍처에도 바로 붙일 수 있습니다.

왜 중요한가

그동안 고해상도 AI 이미지를 뽑으려면 흐릿한 결과물을 감수하거나, 복잡한 초해상도 업스케일러를 덧붙여 긴 시간을 기다려야만 했습니다.

PiD는 이 골치 아픈 딜레마를 단번에 끊어냅니다. RTX 5090을 갖춘 창작자나 개발자라면 13GB 수준의 메모리 점유만으로 1초 안에 선명한 2K 이미지를 곧바로 손에 쥘 수 있게 됩니다.

산업 전반으로 봐도 파이프라인의 맨 마지막 단계인 디코더가 단순한 압축 해제 도구에서 최종 화질을 완성하는 핵심 엔진으로 재정의되었습니다. ComfyUI 같은 오픈소스 생태계에 이 기술이 이식된다면 실시간 생성 워크플로의 체감 속도가 획기적으로 빨라질 것입니다.

우리는 엔비디아의 이번 접근이 매우 영리했다고 봅니다. 막대한 자본을 들여 무작정 거대한 생성 모델을 새로 학습시키는 대신, 전체 워크플로에서 가장 비효율적이던 디코딩 병목을 찾아내 단 4단계의 증류 모델로 깔끔하게 뚫어냈기 때문입니다.