텐센트, 고해상도 3D 생성 모델 '혼원3D 2.0' 오픈소스 공개

혼원3D 2.0(Hunyuan3D 2.0)은 텐센트가 오픈소스로 공개한 대규모 3D 에셋 생성 시스템입니다. 2D 이미지 한 장만 입력하면 고해상도 텍스처가 입혀진 3D 메시를 곧바로 복원해 냅니다.

어떤 작업을 할 수 있나

기존의 이미지 기반 3D 생성 모델들은 형상과 텍스처를 한 번에 계산하려다 보니, 표면이 울퉁불퉁해지거나 텍스처가 뭉개지는 문제가 잦았습니다.

혼원3D 2.0은 이 과정을 깔끔하게 둘로 나눴습니다. 1단계에서는 플로우 매칭 기반 Diffusion Transformer 모델인 Hunyuan3D-DiT가 형상에만 집중해 입력 이미지와 정밀하게 일치하는 깨끗한 무채색 메시를 만듭니다.

2단계에서는 텍스처 합성 모델인 Hunyuan3D-Paint가 기하학적 구조를 바탕으로 디퓨전 프라이어를 활용해 선명한 고해상도 텍스처 맵을 베이킹합니다.

이런 분리 설계 덕분에 이미지 기반 생성 외에도 유용한 기능이 생겼습니다. 사용자가 3D 툴에서 직접 제작한 텍스처 없는 메시를 넣고 텍스처링만 따로 수행할 수도 있습니다. 후속 편집과 리깅 작업을 돕는 Hunyuan3D-Studio 플랫폼도 함께 마련됐습니다.

성능과 실행 환경

공개된 벤치마크 평가에서 혼원3D 2.0은 CMMD 3.193을 기록하며 FID, CLIP-score 전반에서 기존 오픈소스 및 상용 모델들을 앞섰습니다. 원본 이미지의 특징을 유지하면서도 더 세밀한 디테일을 살려냅니다.

현재 Hugging Face와 GitHub에 모델 가중치와 추론 코드가 모두 공개되어 있습니다. 형상 모델인 DiT와 텍스처 모델 Paint, 그림자를 보정하는 Delight 모듈까지 포함됩니다.

diffusers 스타일의 파이썬 API를 통해 간단히 호출할 수 있으며, 결과물은 glb나 obj 파일로 저장됩니다. 스크립트 작성 없이 로컬에서 Gradio 웹 앱을 띄워 시험해 보는 것도 가능합니다.

설치 과정에서 커스텀 래스터라이저와 렌더러를 직접 빌드해야 하므로 넉넉한 VRAM을 갖춘 GPU 환경이 필요합니다. 텐센트는 향후 ComfyUI 노드 지원과 TensorRT 가속 버전을 추가할 계획입니다.

왜 중요한가

인디 게임 개발자나 3D 그래픽 작업자에게 혼원3D 2.0은 로컬에서 바로 활용할 수 있는 뛰어난 작업 보조 도구입니다. 특히 직접 깎아둔 메시에 텍스처를 자동으로 입히는 기능은 번거로운 UV 언랩과 페인팅 시간을 크게 줄여 기존 파이프라인에 자연스럽게 녹아듭니다.

텐센트가 형상과 텍스처를 영리하게 분리한 점은 높게 평가할 만합니다. 수정이 어려운 일체형 생성 모델보다, 제작 공정에 유연하게 끼워 넣을 수 있는 모듈형 파이프라인이 실제 게임 엔진과 디지털 콘텐츠 현장에서 훨씬 강력한 실용성을 발휘하기 때문입니다.