MS, 이미지 3D 변환 모델 '트렐리스 2' 공개…최단 3초 만에 생성

TRELLIS.2-4B는 마이크로소프트 연구진이 오픈소스로 공개한 40억 파라미터 규모의 3D 생성 기초 모델입니다. 단 한 장의 2D 이미지에서 완벽한 PBR 재질과 반투명 속성을 갖춘 고정밀 3D 메시를 즉시 생성하며, MIT 라이선스로 배포되었습니다.

무엇을 할 수 있고 어떻게 작동하는가

기존의 이미지 기반 3D 생성 기술은 SDF나 Flexicubes 같은 등위면 필드에 의존하는 경우가 많아, 얇은 열린 표면이나 비다양체 형상을 제대로 표현하지 못하고 반투명 재질을 다루는 데 한계가 있었습니다.

TRELLIS.2는 O-Voxel이라는 새로운 희소 복셀 구조를 도입해 형상과 외형을 동시에 인코딩합니다. 복잡하고 임의적인 위상 구조를 손실 없이 유지하면서, 메시와 복셀 간의 양방향 변환을 수 밀리초에서 수초 내에 처리합니다.

핵심 아키텍처는 40억 파라미터의 Flow-Matching Transformer와 16배 공간 다운샘플링을 지원하는 희소 3D VAE로 구성되어 있습니다. 1024³ 해상도의 방대한 에셋을 시각적 품질 저하 없이 약 9,600개의 잠재 토큰으로 압축해 연산 효율을 극대화했습니다.

엔비디아 H100 GPU 기준 512³ 해상도 에셋을 약 3초 만에 생성하며, 1024³ 해상도는 약 17초, 최대 1536³ 해상도도 약 60초면 완성합니다. 단일 이미지 변환 외에도 기존 3D 메시에 참조 이미지를 입히는 텍스처 생성 기능도 지원합니다.

구동 환경과 한계점

로컬 구동 요구 사양은 다소 높은 편입니다. 현재 리눅스 환경에서만 검증되었으며, 최소 24GB 이상의 VRAM을 갖춘 엔비디아 GPU가 필요합니다. 공식적으로는 A100 및 H100 환경에서 테스트되었고, CUDA 12.4 및 파이썬 3.8 이상이 권장됩니다.

인간 선호도 정렬(RLHF)이나 미적 미세 조정을 거치지 않은 사전 학습 기본 모델이므로 결과물이 학습 데이터 분포에 따라 달라질 수 있어 프롬프트 이미지 선택에 신경을 써야 합니다. 또한 생성된 원본 메시에 간혹 작은 구멍이 생길 수 있으나, 3D 프린팅 등 완벽한 수밀 지오메트리가 필요한 경우를 위해 공식 후처리 스크립트가 함께 제공됩니다.

모델 가중치는 허깅페이스에 공개되어 지난달 240만 회 이상의 다운로드를 기록했으며, 깃허브 코드와 함께 구글 코랩 및 캐글용 노트북도 제공되어 웹상에서 바로 테스트해 볼 수 있습니다.

왜 중요한가

인디 게임 개발자나 3D 그래픽 아티스트에게 TRELLIS.2-4B는 단순한 실험작을 넘어 실제 워크플로에 도입할 수 있는 유용한 도구입니다. 이전 모델들과 달리 거친 메시에 그치지 않고 노멀, 거칠기, 불투명도 채널이 온전히 살아 있는 PBR 에셋을 초 단위로 뽑아내기 때문입니다.

비록 24GB VRAM 제약으로 일반 개인용 PC에서는 부담스럽지만, 클라우드 환경을 활용하면 적은 비용으로 고품질 3D 에셋 프로토타이핑 파이프라인을 구축할 수 있습니다. 상용 독점 모델에 견줄 만한 오픈 모델이 등장했다는 점에서 의미가 큽니다.