스태빌리티 AI, 0.7초 만에 이미지로 3D 모델 만드는 SPAR3D 공개

SPAR3D(Stable Point Aware 3D)는 단 한 장의 2D 이미지를 0.7초 만에 완전한 3D 메시로 변환해 주는 오픈소스 모델입니다. 사용자가 직접 포인트 클라우드를 수정하면 0.3초 만에 변경 사항을 반영해 메시를 다시 생성합니다.

스태빌리티 AI가 CES에서 엔비디아와 협력하여 공개한 모델로, 게임 개발과 제품 디자인, 배경 제작의 프로토타이핑 워크플로를 겨냥했습니다.

무엇을 할 수 있는가

기존의 이미지 기반 3D 생성 도구는 속도가 느리거나 보이지 않는 뒷면 구조가 무너지는 문제가 흔했습니다. SPAR3D는 가려진 뒷면까지 포함해 360도 전체의 형상을 정밀하게 예측합니다.

직접적인 구조 편집도 가능합니다. 생성된 포인트 클라우드에서 점을 삭제하거나 복제하고, 늘리거나 새 요소를 추가하고 색상을 바꿀 수 있습니다. 수정을 마치면 단 0.3초 만에 최종 3D 메시로 다시 구워냅니다.

어떤 기술로 작동하는가

SPAR3D는 정밀한 회귀 모델링과 생성 기법의 유연성을 결합한 2단계 구조를 갖추고 있습니다.

첫 번째 단계에서는 포인트 디퓨전 모델(point diffusion model)이 입력 이미지를 바탕으로 물체의 기본 뼈대가 되는 상세한 포인트 클라우드를 만듭니다.

두 번째 단계에서는 트라이플레인 트랜스포머(triplane transformer)가 이 포인트 클라우드와 원본 이미지의 특징을 함께 처리합니다. 여기서 생성된 고해상도 트라이플레인 데이터를 바탕으로 원본의 기하학적 형태, 텍스처, 조명을 정확히 반영한 3D 메시를 복원합니다.

사용 방법 및 라이선스

엔비디아 RTX AI PC 구동에 최적화되어 있어, 클라우드 환경에 의존하지 않고 로컬 PC에서 즉각적인 3D 에셋 생성이 가능합니다.

모델 가중치는 허깅페이스에서 내려받을 수 있고, 코드는 깃허브에 공개되어 있습니다. 스태빌리티 AI 개발자 플랫폼 API를 통한 연동도 지원합니다.

라이선스는 스태빌리티 AI 커뮤니티 라이선스를 따르며, 비상업적 용도는 물론 연 매출 100만 달러 미만 조직의 상업적 사용까지 무료로 개방되었습니다.

왜 중요한가

1초도 걸리지 않는 생성 속도에 포인트 클라우드 단위의 실시간 수정 제어까지 더해졌다는 점이 큽니다. 결과물이 마음에 들 때까지 무작정 다시 뽑아야 했던 기존 도구와 달리, 작업자가 형상을 직접 매만질 수 있습니다.

물론 단일 이미지 기반 생성인 만큼 최종 상용 게임에 들어갈 하이폴리곤 수준의 디테일을 바로 기대하기는 어렵습니다. 하지만 초기 기획이나 프로토타입 에셋을 신속하게 찍어내야 하는 1인 개발자나 3D 아티스트라면 지금 바로 설치해 돌려볼 만합니다.