SegviGen: 클릭이나 2D 가이드 이미지로 3D 모델 부품을 자동 분할

SegviGen은 단일 3D 메시 모델을 정밀한 개별 부품으로 자동 분할해 주는 오픈소스 프레임워크다. 3D 프린팅을 위한 부품 분할이나 게임 에셋 편집, 구조 분석 등에서 덩어리째 굳어 있는 3D 모델을 즉시 수정 가능한 파츠 단위로 분리해 낸다.

이 프로젝트는 마이크로소프트의 3D 생성 모델인 TRELLIS.2를 기반으로 개발되었다. 분할 모델을 바닥부터 새로 학습시키는 대신, 네이티브 3D 생성 모델에 이미 내재되어 있는 방대한 기하학적 구조와 텍스처 사전 지식을 재활용하여 형상을 재구성함과 동시에 부품별 색상 지표를 예측하도록 설계했다.

무엇을 할 수 있나

SegviGen은 단일 아키텍처 내에서 세 가지 핵심 분할 방식을 모두 지원한다.

첫 번째는 대화형 부품 분할이다. 3D 모델에서 원하는 부위를 마우스로 한 번 클릭하기만 하면 해당 파츠를 깔끔하게 추출해 낸다. PartObjaverse-Tiny 및 PartNeXT 벤치마크에서 단일 클릭 IoU@1 성능이 기존 SOTA 모델인 P3-SAM 대비 40% 향상되었다.

두 번째는 전자동 전체 분할이다. 별도 프롬프트나 클릭 없이도 모델 전체를 분석해 부품별로 분할하고 색상을 입혀 분리해 주며, 전체 IoU 역시 기존보다 15% 개선되었다.

세 번째는 2D 참조 이미지를 통한 분할이다. 2D 분할 맵을 가이드로 입력하면, 이미지에 표시된 부품 세분화 수준에 맞춰 3D 모델을 그대로 쪼개 준다.

가장 돋보이는 부분은 데이터 효율성이다. 생성 모델의 사전 지식을 영리하게 끌어다 쓴 덕분에 별도의 지도 학습 데이터 소모량을 기존 대비 대폭 줄였으며, 단 0.32% 수준의 학습 데이터만으로도 이 같은 성과를 냈다.

어떻게 실행하나

SegviGen의 소스코드는 GitHub에 MIT 라이선스로 공개되어 있으며, 사전 학습된 모델 체크포인트 역시 Hugging Face에 등록되어 있다. 해당 연구는 SIGGRAPH 2026 Journal에 채택되었고, 웹 브라우저에서 바로 사용해 볼 수 있는 온라인 데모도 제공된다.

로컬 구동 환경은 Linux OS와 Python 3.10 기반이며, 최소 24GB 이상의 VRAM을 갖춘 Nvidia GPU가 필요하다. 먼저 TRELLIS.2 리포지토리를 클론해 환경을 구축한 뒤, Blender와 mathutils 등 필수 패키지를 설치하면 된다.

추론 과정도 직관적이다. 대화형 분할, 전체 분할, 2D 가이드 분할 각각에 맞춘 전용 실행 스크립트가 준비되어 있어, glb 파일과 좌표나 참조 이미지를 인자로 넘기면 분할 완료된 3D GLB 파일을 바로 얻을 수 있다.

왜 중요한가

지금까지 3D 모델 분할은 작업자가 일일이 메시를 자르는 수작업 노가다이거나, 막대한 레이블 데이터를 요구하는 비효율적인 영역이었다. SegviGen은 3D 생성 파운데이션 모델이 이미 훌륭한 해부학적 구조 지식을 갖추고 있음을 증명하며, 이를 재활용해 학습 비용을 극단적으로 낮추고 성능을 끌어올렸다.

3D 프린팅용 부품 분할 작업을 자주 하거나 게임 에셋을 수정해야 하는 창작자와 개발자라면 지금 바로 테스트해 볼 가치가 충분하다. 24GB VRAM이라는 그래픽카드 요구 사양이 다소 높지만, RTX 3090, 4090이나 클라우드 GPU 인스턴스를 활용한다면 수작업으로 몇 시간씩 걸리던 분할 작업을 단 몇 번의 클릭으로 대체할 수 있다.