Sperid Labs, 단일 이미지로 3D 가우시안 만드는 Idol 오픈소스 공개

Idol은 Sperid Labs가 오픈소스로 공개한 3D 생성 모델로, 단 한 장의 2D 이미지를 표준 3D 가우시안 스플래팅(3D Gaussian Splatting) 데이터로 변환해 주는 도구입니다.

일반 사진, 3D 렌더링, AI 생성 이미지를 입력하면 배경을 자동으로 깔끔하게 지우고, 원본에서 전혀 보이지 않던 뒷면까지 입체적으로 추론해 최대 100만 개 가우시안 점으로 구성된 .ply 파일을 만들어 냅니다. 최고 VRAM 사용량이 7.2GB에 불과해 일반 소비자용 그래픽카드에서도 무리 없이 돌아갑니다.

무엇을 할 수 있나

기존의 단일 이미지 3D 복원은 메시가 뭉개지거나 보이지 않는 뒷면이 지저분해지기 쉬웠습니다. Idol은 공간에 수많은 가우시안 점을 뿌리는 방식을 택해 형태와 질감을 자연스럽게 살려냅니다.

품질 수준도 자유롭게 조절할 수 있습니다. 생성되는 가우시안 개수는 32,768개부터 1,048,576개까지 설정 가능합니다. 가벼운 형태 확인용이라면 3만 개 수준으로 순식간에 뽑아낼 수 있고, 정밀한 디테일이 필요하다면 100만 개로 밀도를 높이면 됩니다.

공식 벤치마크에 따르면 Idol은 TripoSplat, TRELLIS, LGM 등 기존 오픈소스 모델들을 뛰어넘는 결과를 보여줬습니다. 특히 보이지 않는 새로운 앵글을 측정하는 DINOv2 및 CLIP 점수에서 최고점을 기록했고, 윤곽선 선명도 지표에서도 가장 우수했습니다. 픽셀 수치만 높고 실제로는 뿌옇게 나오는 기존 방식과 달리, 뒷면까지 형태가 선명하게 유지됩니다.

실행 방법과 사양

로컬 PC에서 가볍게 구동되는 비결은 모델 구조에 있습니다. 핵심 생성 모델의 파라미터 수가 약 0.66B에 불과하기 때문입니다. 배경 제거용 BiRefNet, DINOv3 인코더, FLUX.2 VAE를 모두 포함해도 전체 가중치 용량은 4GB 안팎입니다.

기본적으로 torch.compile과 TF32 가속을 적용해 메모리 효율을 극대화했으며, 피크 VRAM은 7.2GB 수준에서 묶입니다. 엔터프라이즈급 B300에서는 26만 개 가우시안 모델 생성이 3.4초, 조건에 따라 2초 안팎에 끝나며, 소비자용인 RTX 5090은 14.1초, RTX 4090은 19.1초, 10GB VRAM을 가진 구형 RTX 3080에서도 40여 초면 충분히 결과물을 얻을 수 있습니다.

현재 GitHub(idol-sdk)에 SDK 코드가 올라와 있고, 가중치는 Hugging Face에 공개되어 있습니다. 구동 환경은 Python 3.10 이상, PyTorch 2.5 이상, CUDA 지원 NVIDIA GPU가 필요합니다.

한 가지 유의할 점은 입력 인코더로 쓰이는 Meta의 DINOv3와 FLUX.2-dev(VAE) 모델의 라이선스입니다. 처음 실행하기 전에 Hugging Face 웹페이지에서 이용 약관에 동의하고 터미널 로그인을 마쳐야 모델 파일이 정상적으로 다운로드됩니다.

왜 중요한가

1인 인디 게임 개발자나 3D 그래픽 아티스트에게 Idol은 아이디어를 3D로 시각화하는 비용을 파격적으로 낮춰주는 도구입니다. 비싼 클라우드 GPU 인스턴스를 결제할 필요 없이 작업실에 있는 일반 게이밍 PC에서 곧바로 프로토타입을 뽑아볼 수 있기 때문입니다.

우리는 Sperid Labs가 핵심 3D 노이즈 제거 모델을 0.66B 수준으로 가볍게 만들고, 시각 인지는 검증된 DINOv3와 FLUX에 맡긴 분업화 설계를 매우 영리한 선택으로 평가합니다.

다만 출력 결과물이 가우시안 포맷(.ply)이므로, 게임 엔진에서 캐릭터 리깅을 하거나 전통적인 물리 충돌을 적용하려면 추가로 폴리곤 메시 변환을 거쳐야 한다는 한계는 있습니다. 그럼에도 가상 에셋의 빠른 외형 검증과 인터랙티브 3D 뷰어 활용 측면에서는 현재 오픈소스 생태계에서 가장 매력적이고 접근성 높은 도구입니다.