NVIDIA, 'SoL-Refiner' 공개: 단 한 번의 디노이징으로 4K 업스케일링 및 27배 가속

AI로 고해상도 영상을 생성해 본 사람이라면 누구나 긴 렌더링 시간의 고통을 안다. 시공간 토큰 수가 늘어남에 따라 연산량은 폭발적으로 증가하며, 4K 결과물을 얻으려면 GPU를 몇 분 동안 쉬지 않고 돌려야 했다.

그동안 업계가 취해 온 대안은 먼저 저해상도 초안을 만든 뒤 리파이너(Refiner)로 화질을 끌어올리는 2단계 방식이었다. 하지만 기존 리파이너 역시 여러 단계의 디노이징 과정을 거쳐야 해 또 다른 성능 병목을 만들어냈다.

NVIDIA Research의 효율적 AI 팀과 싱가포르 연구소는 이를 해결할 'SoL-Refiner'(Speed-of-Light One-Step Refinement)를 공개했다. 목표 해상도에서 단 한 번의 디노이징만으로 저해상도 영상을 최대 4K 고화질로 변환하는 모델이다.

2분 30초에서 5초대로: 영상 생성 27배 가속

단 한 단계로 정제 과정을 줄인 효과는 수치로 즉각 드러난다. NVIDIA의 실측 데이터에 따르면 GB200 GPU 환경에서 5초 분량(24fps, 1344×768)의 영상을 오픈소스 최고 수준 모델인 MiniMax H3로 직접 렌더링할 경우 단일 GPU에서 152.3초가 걸렸다.

반면 이를 2단계 파이프라인으로 전환해 896×512 저해상도 초안을 4.06초 만에 뽑아낸 뒤 SoL-Refiner로 1.56초 동안 정제하자 전체 처리 시간은 5.64초로 단축되었다. 엔드투엔드 기준 27.03배에 달하는 속도 향상이다.

단일 H100 GPU에서도 성능 향상은 뚜렷하다. 35단계 Cosmos-Nano 생성기와 결합했을 때 2.81배 속도가 빨라졌으며, 272.69초가 걸리던 고화질 생성을 저해상도 생성 후 정제하는 방식으로 78.71초까지 줄였다.

무엇보다 큰 장점은 특정 모델에 종속되지 않는다는 점이다. MiniMax H3 외에도 NVIDIA Cosmos나 알리바바의 Wan 등 다양한 영상 생성 모델 뒤에 바로 붙여 쓸 수 있다.

선명함 뒤에 숨은 미세한 묘사 변화

단 한 번의 단계로 4K 화질을 구현하기 위해 NVIDIA는 고해상도 연속 학습과 프레임 기반 강화학습(RL post-training), 양방향 및 스트리밍 추론을 지원하는 1단계 분포 매칭 증류 기법을 결합했다.

다만 원본을 그대로 복원하는 데는 한계가 있다. 공개된 데모를 살펴보면 깃털이나 텍스처 질감은 눈에 띄게 날카로워지지만, 일부 세부 묘사가 원본과 다르게 재해석되는 현상이 나타난다.

예컨대 건물의 창틀이나 헛간의 판자 디테일이 정제 과정을 거치면서 원본 영상의 형태와 약간 달라지는 식이다. 입력 원본을 왜곡 없이 완벽하게 복원해야 하는 작업이라면 이러한 변화를 감안해야 한다.

연구팀은 현재 프로젝트 페이지를 통해 코드와 로컬 실행 가이드를 공개했다. 기존 LTX Refiner의 개념을 차용하되, 자체 증류 훈련을 통해 진정한 1단계 업스케일링을 구현해 냈다.

왜 중요한가

고해상도 영상 생성은 오랫동안 값비싼 연산 비용과 지루한 대기 시간이라는 장벽에 가로막혀 있었다. 영상 하나를 뽑는 데 2분 넘게 기다리던 환경을 5초대로 줄였다는 것은, 고화질 영상 생성에서도 실시간에 가까운 인터랙션이 가능해졌음을 의미한다.

우리는 NVIDIA의 이번 전략이 매우 영리하다고 본다. 막대한 자본을 들여 거대 영상 모델을 처음부터 다시 만들기보다, 모든 모델이 마주하는 후처리 병목을 해결하는 방식을 택했다. MiniMax H3나 Wan 같은 외부 오픈소스 모델의 성능을 즉각 증폭시킴으로써 하드웨어 생태계의 매력을 동시에 끌어올렸다.

디테일이 다소 재창작되는 특성 때문에 정밀한 VFX 합성이나 산업 시뮬레이션 등에 곧바로 쓰이기는 어려울 수 있다. 하지만 SNS 콘텐츠나 광고, 프로토타이핑 등 빠른 호흡의 제작 현장에서는 약간의 디테일 변화를 감수하고 27배의 속도를 얻는 쪽이 훨씬 매력적인 선택지가 될 것이다.