OpenAI, 3D 생성 모델 'Shap-E' 오픈소스 공개: 텍스트로 NeRF·메시 즉시 생성

Shap-E는 간단한 텍스트 프롬프트를 입력하면 몇 초 만에 텍스처가 포함된 3D 메시나 NeRF(신경 방사 휘도장)를 직접 만들어내는 OpenAI의 오픈소스 3D 생성 모델입니다.

단일 형태의 데이터만 내놓던 기존 3D 생성 방식과 달리, Shap-E는 암시적 함수(implicit function)의 파라미터를 곧바로 생성합니다. 하나의 결과물로 텍스처 메시와 NeRF를 모두 렌더링할 수 있는 구조입니다.

어떤 작업을 할 수 있는가

OpenAI가 앞서 공개했던 Point-E와 비교하면 결과물의 완성도가 확연히 다릅니다.

Point-E는 듬성듬성한 포인트 클라우드(점군)만 출력해 실제 활용하려면 번거로운 후처리를 거쳐야 했습니다. 반면 Shap-E는 표면과 색상이 입혀진 연속된 지오메트리를 단 몇 초 만에 뽑아냅니다.

텍스트와 3D가 결합된 대규모 데이터셋을 기반으로 학습되어, 복잡하고 다양한 형태의 3D 객체를 빠르게 생성할 수 있습니다.

어떤 원리로 작동하는가

논문에 따르면 Shap-E의 학습은 크게 두 단계로 진행됩니다.

첫 단계에서는 3D 데이터를 암시적 함수의 파라미터 공간으로 결정론적 매핑하는 인코더를 먼저 학습시킵니다.

두 번째 단계에서는 이 인코더의 출력을 바탕으로 조건부 확산(diffusion) 모델을 학습시켜 텍스트 입력과 연결합니다.

다차원의 복합 표현 공간을 다룸에도 불구하고, Shap-E는 이전 Point-E보다 학습 수렴 속도가 더 빠르며 생성 품질 역시 비슷하거나 더 우수한 수준을 보여줍니다.

현재의 한계와 사용 방법

물론 당장 게임이나 상용 프로젝트에 집어넣을 수 있는 품질은 아닙니다.

생성된 3D 객체는 전반적으로 거칠고 픽셀이 튄 듯한 노이즈가 보이며 디테일이 부족합니다.

프롬프트 이해도 역시 아직 단순합니다. 하나의 물체와 단순한 속성을 지정할 때는 잘 작동하지만, 여러 물체가 얽혀 있거나 복합적인 속성을 묘사하면 제대로 반영하지 못하는 한계가 있습니다.

그래도 오픈소스로 완전히 공개되어 접근성은 매우 좋습니다. OpenAI는 GitHub 저장소를 통해 모델 가중치와 추론 코드, 예제 샘플을 모두 제공하고 있어 누구나 직접 받아 구동해 볼 수 있습니다.

왜 중요한가

인디 게임 개발자나 3D 그래픽 아티스트에게 Shap-E는 초기 아이디어 구상과 콘셉트 목업을 위한 훌륭한 프로토타이핑 도구가 될 수 있습니다. 지금 결과물을 상용 엔진에 바로 올리기는 어렵지만, 몇 초 만에 3D 덩어리와 텍스처를 확인하는 것만으로도 작업 시간을 꽤 줄여줍니다.

기술적으로도 포인트 클라우드 대신 암시적 함수 파라미터에 확산 모델을 결합한 선택은 매우 영리했습니다. 고차원 다중 표현 모델이 더 빠르고 효율적으로 작동할 수 있음을 입증하며 오픈소스 3D 생성 연구의 새로운 기준점을 마련해 준 셈입니다.