스태빌리티 AI, 단일 이미지로 3D 모델 만드는 'Stable Video 3D' 공개

Stable Video 3D(SV3D)는 2D 이미지 한 장을 입력받아 물체의 다각도 회전 영상과 3D 메시를 곧바로 생성해 주는 모델입니다. Stability AI가 비디오 생성 모델의 기술을 3D 영역으로 확장해 개발했으며, 단일 이미지 기반 3D 생성에서 고질적으로 발생하던 시점 간 형태 왜곡과 불일치 문제를 해결했습니다.

어떤 기능을 제공하나

물체가 담긴 정적 이미지를 넣으면 보이지 않는 각도의 외형을 추론하여 부드럽게 360도 회전하는 궤도 영상을 만들어냅니다.

이번 배포는 작업 목적에 맞춰 두 가지 버전으로 나뉩니다.

기본형인 SV3D_u는 카메라 제어 없이 작동하는 모델입니다. 이미지만 넣으면 별도의 카메라 매개변수 설정 없이도 정해진 궤도를 도는 영상을 자동으로 뽑아냅니다.

SV3D_p는 카메라 경로를 정밀하게 제어할 수 있는 고급 모델입니다. 단일 이미지와 회전 시점을 모두 지원하며, 사용자가 지정한 카메라 궤적을 따라 움직이는 3D 영상을 생성할 수 있습니다.

여기에 더해 SV3D는 다각도 영상 생성에 그치지 않고, NeRF 최적화 파이프라인을 거쳐 3D 렌더링 엔진에서 즉시 활용할 수 있는 3D 메시 형태로도 내보낼 수 있습니다.

핵심 기술과 성능

기존 Stable Zero123 같은 도구들은 이미지 확산 모델을 기반으로 다른 각도를 추정했기 때문에, 시점이 바뀔 때마다 물체 세부 형태가 뒤틀리는 현상이 잦았습니다.

SV3D는 비디오 확산 모델인 Stable Video Diffusion을 기반으로 삼고 여기에 카메라 궤적 조건을 결합했습니다. 비디오 모델 특유의 프레임 간 연속성을 공간 다각도 생성에 적용해 시점 일관성을 크게 끌어올린 셈입니다.

3D 메시 변환 과정에서는 보이지 않는 사각지대의 품질을 높이기 위해 마스크 점수 증류 샘플링(masked SDS) 손실 함수를 설계해 적용했습니다.

또한 형상 및 텍스처와 조명을 분리해 최적화하는 모델을 도입해, 원본 사진 속 그림자나 반사광이 3D 표면에 그대로 굳어버리는 베이킹 문제를 억제했습니다. 공식 비교 결과에 따르면 Zero123-XL이나 EscherNet 대비 뚜렷하게 우수한 품질을 보여줍니다.

라이선스 및 사용 방법

비상업적 연구 목적이라면 허깅페이스(Hugging Face)에서 모델 가중치를 무료로 다운로드하고 기술 연구 논문을 확인할 수 있습니다.

상업적 프로젝트나 서비스에 적용하려면 Stability AI의 유료 멤버십 가입이 필요합니다.

왜 중요한가

비디오 모델의 시간적 연속성 개념을 3D 공간 일관성 확보에 차용한 방식은 매우 효과적인 선택이었습니다. 콘셉트 아트 한 장으로 프로토타입 3D 에셋을 빠르게 뽑아내야 하는 인디 게임 개발자나 3D 그래픽 디자이너에게 유용한 도구가 될 수 있습니다.

다만 복잡한 배경이 얽힌 다중 객체보다는 단일 물체 복원에 초점이 맞춰져 있으며, 실제 상용 파이프라인에 얹기 위해서는 토폴로지 정리 등 후가공이 여전히 필요합니다.