스태빌리티 AI, 단일 이미지로 3D 생성하는 '스테이블 제로123' 공개

스테이블 제로123은 평범한 2D 이미지 한 장을 입력받아 다양한 각도의 시점 이미지를 만들어내고, 이를 텍스처가 입혀진 3D 메쉬로 재구성해 주는 모델이다.

컨셉 아트나 제품 사진 한 장만 있으면 보이지 않는 뒷면과 측면의 외형을 모델이 자연스럽게 예측해 3D 자산으로 변환해 준다.

무엇을 할 수 있고 어떻게 작동하나

이전 오픈소스 기준점이던 Zero123-XL과 비교하면 다각도 일관성과 3D 메쉬 품질이 확연히 좋아졌다.

이러한 성능 향상은 세 가지 핵심 개선점에서 나왔다.

첫째는 고품질 데이터 선별이다. 오픈소스 3D 데이터셋인 Objaverse에서 품질이 떨어지는 데이터를 대거 걸러내고, 이전보다 사실적인 렌더링을 적용해 학습 데이터를 다시 구축했다.

둘째는 카메라 앙각 조건 부여다. 학습과 추론 과정에서 카메라 각도 정보를 조건값으로 전달해 모델이 왜곡된 시점을 예측하지 않도록 중심을 잡았다.

셋째는 학습 효율화다. 잠재 변수를 미리 계산해 두고 개선된 데이터로더를 통해 배치 크기를 늘리면서 Zero123-XL 대비 학습 속도를 40배나 끌어올렸다.

활용법도 유연하다. SDXL로 마음에 드는 2D 이미지를 먼저 뽑아낸 뒤, 이를 스테이블 제로123에 넘겨 텍스트 투 3D 파이프라인을 완성할 수도 있다.

구동 환경과 라이선스

스테이블 제로123은 스테이블 디퓨전 1.5를 기반으로 제작됐다.

단순히 특정 각도의 새로운 뷰 이미지 한 장을 생성하는 작업은 SD1.5와 동일한 수준의 VRAM만 소모하므로 일반 소비자용 그래픽카드에서도 무리 없이 돌아간다.

하지만 완성된 3D 메쉬를 복원하려면 리소스가 꽤 든다. 오픈소스 프로젝트 threestudio를 통해 점수 증류 샘플링(SDS) 기법으로 NeRF를 최적화하고 메쉬를 추출해야 하므로, 공식 권장 사양은 24GB VRAM이다.

모델은 두 가지 버전으로 배포됐다. 허깅페이스에 공개된 기본 스테이블 제로123은 CC-BY-NC 데이터를 포함하고 있어 연구 및 비상업적 용도로만 쓸 수 있다.

상업적 이용이 가능한 버전은 스테이블 제로123C다. CC-BY 및 CC0 데이터로만 학습됐으며, 상업적으로 활용하려면 스태빌리티 AI 유료 멤버십 가입이 필요하다. 내부 테스트 결과 두 모델의 결과물 품질은 거의 같다.

왜 중요한가

평면 이미지 한 장으로 입체 형상을 구현하는 작업은 게임과 3D 디자인 분야에서 늘 까다로운 영역이었다. 이번 공개는 대규모 아키텍처 변경 없이도 데이터 필터링과 카메라 제어만으로 2D 확산 모델의 3D 공간 이해도를 크게 높일 수 있음을 증명했다.

전체 3D 메쉬 생성에 24GB VRAM이 필요해 일반 사용자에게는 다소 버겁지만, 작업 환경을 갖춘 인디 개발자나 3D 아티스트라면 로컬 파이프라인에 직접 올려 테스트해 볼 가치가 충분하다.