엔비디아, AI 비디오를 최대 4K로 업스케일링하는 ‘Open H3 Regenerate 2K’ 오픈소스 공개

Open H3 Regenerate 2K는 저해상도 AI 생성 영상을 2K 및 최대 4K 해상도로 정밀하게 재구성해 주는 엔비디아의 오픈소스 영상 개선 도구입니다.

대표적인 오픈소스 비디오 모델인 MiniMax H3는 저해상도로 초안을 잡은 뒤 2단계에서 고해상도로 렌더링하는 방식을 취합니다. 하지만 공식 리파이너 모델은 비공개 클라우드 API로만 서비스되어, 로컬 환경에서 파이프라인을 완전히 구축하기 어려웠습니다. 엔비디아는 이 공백을 메우기 위해 해당 모델을 오픈소스로 내놓았습니다.

3단계 디퓨전으로 완성하는 고해상도 재구성

단순히 픽셀을 늘려 뭉개는 기존 업스케일러와 달리, Open H3 Regenerate 2K는 디퓨전 과정을 통해 피부 질감, 직물, 털 등의 디테일을 고해상도로 다시 그려냅니다.

구조는 매우 효율적입니다. 기존 H3 트랜스포머와 비디오 VAE를 그대로 동결하고, FL2VA Turbo와 LMS Sharp 어댑터를 통합한 단 하나의 가벼운 리파이너 LoRA만을 얹어 구동합니다.

영상을 디코딩하고 다시 인코딩하는 낭비 없이, 3D 합성곱 네트워크로 잠재 공간에서 곧바로 목표 해상도로 크기를 키웁니다. 이후 노이즈를 살짝 섞은 뒤 단 3번의 오일러 스텝만으로 디테일을 선명하게 복원해 냅니다.

SoL-Engine의 희소 어텐션 기술과 고속 VAE 디코더 덕분에, B200 GPU 1장에서 5초 분량의 2K 영상을 처리하는 데 22.45초밖에 걸리지 않습니다.

타 모델 영상 지원 및 최대 4K 15초 처리

768P 입력과 2K 출력만 지원하던 공식 API와 달리 범용성도 크게 넓혔습니다. 384P부터 512P, 768P 등 다양한 해상도를 입력받을 수 있으며, H3뿐만 아니라 LTX-2나 SANA-Video 같은 타사 모델로 만든 초안 영상도 완벽히 지원합니다.

출력 해상도는 768P부터 최대 4K까지 자유롭게 설정할 수 있으며, 5초에서 15초(최대 360프레임) 분량의 영상을 중간 끊김 없이 한 번에 처리합니다.

벤치마크 RefinerBench-150 테스트에서 공식 비공개 API보다 심미적 품질과 일관성 모두 높은 점수를 기록했습니다. 200번의 블라인드 평가에서도 평가자의 87%가 엔비디아 모델의 결과물을 선호했습니다.

다만 디테일을 새로 그리는 과정에서 인물의 얼굴 생김새 등 일부 세부 표현이 원본과 미세하게 달라질 수 있다는 점은 감안해야 합니다.

코드와 가중치, 로컬 실행 가이드는 GitHub에 모두 공개되어 있습니다.

왜 중요한가

로컬 환경에서 AI 비디오 파이프라인을 구축하던 창작자들에게 가장 목말랐던 마지막 퍼즐이 맞춰졌습니다. 지금까지는 초안을 로컬에서 뽑아도 고화질 변환을 위해 유료 클라우드 서비스를 거쳐야만 했습니다.

무거운 파인튜닝 대신 3스텝 디퓨전과 가벼운 LoRA 하나로 속도와 품질을 모두 잡았다는 점에서 엔지니어링 완성도가 높습니다. 인물 클로즈업에서는 이목구비 왜곡에 주의해야겠지만, 풍경이나 특수효과 등 영상 전반의 질감을 끌어올리기에는 지금 당장 워크플로에 도입해 볼 가치가 충분합니다.