3D 기하학을 잠재 공간에 직접 통합한 'GAE' 오픈소스 공개

GAE(Geometry Native Autoencoder)는 3D 일관성을 유지하며 가상 세계를 생성하는 오픈소스 시각 생성 프레임워크입니다. 영상을 생성하면서 깊이 맵(Depth Map), 카메라 궤적, 3D 포인트 클라우드 모델을 하나의 잠재 상태에서 동시에 복원해 냅니다.

기존 영상 생성 모델들은 겉보기 픽셀만 다루는 잠재 공간을 사용하기 때문에 카메라가 움직이면 공간 구조가 쉽게 일그러졌습니다. GAE는 3D 기하학 정보를 잠재 공간 내부에 직접 집어넣어 모델이 처음부터 3D 공간을 인식하며 장면을 만들도록 설계되었습니다.

무엇을 할 수 있나

GAE는 실내외 다양한 환경을 지원하며, 1인칭 및 3인칭 시점 모두에서 시점 간 일관성을 안정적으로 유지합니다.

참조 이미지 1장과 카메라 경로를 입력하면 672 x 378 해상도의 81프레임 RGB 영상과 3D 기하 상태를 함께 생성합니다. 사용자는 생성된 영상과 함께 깊이 맵의 변화 및 점진적인 3D 재구성 과정을 나란히 확인할 수 있습니다.

텍스트 투 이미지 생성도 지원합니다. 텍스트 프롬프트를 입력하면 단일 잠재 상태로부터 RGB 이미지, 깊이 맵, 인터랙티브 3D 포인트 클라우드를 동시에 디코딩해 냅니다.

생성기 구조와 훈련 조건을 동일하게 맞춘 비교 실험에서 잠재 공간을 GAE로 교체하자 RealEstate10K 기준 카메라 궤적 오차가 절반으로 줄었습니다. 영상 화질 지표인 FVD 역시 RealEstate10K에서 12.7%, DL3DV에서 23.1% 개선되었습니다.

어떻게 동작하나

GAE는 고정된 기하 기초 모델의 다층 특징을 효율적인 잠재 공간으로 재매개화합니다. 기존 3072채널에 달하는 방대한 기하 특징을 확산 모델이 다루기 쉬운 구조화된 128채널 상태로 압축합니다.

운용 방식은 두 가지입니다. GAE-64는 경량 생성과 궤적 일관성에 집중하며, GAE-128은 높은 재구성 품질과 시점 간 대응력을 보존합니다.

모델은 플로우 매칭(Flow Matching)을 통해 이 잠재 공간 안에서 직접 장면을 생성합니다. 잠재 상태 자체가 다중 시점의 기하 정보를 담고 있어, 출력 헤드가 RGB 외형, 깊이, 카메라 포즈, 포인트 맵을 추가 후처리 없이 한 번에 디코딩합니다.

동일한 DiT 훈련 프로토콜 아래에서 Stable Diffusion VAE, Wan2.1 비디오 VAE, RAEv2 등과 비교했을 때 외형 품질과 3D 일관성 모두에서 우수한 성과를 보였습니다.

하드웨어 요구 사양과 오픈소스 현황

GAE는 이미 오픈소스로 공개되어 누구나 내려받을 수 있습니다. 모델 전체 가중치 크기가 12GB 미만이라 대부분의 중급 소비자용 GPU에서도 로컬 실행이 가능합니다.

공식 프로젝트 페이지에서 논문 전문과 함께 로컬 환경 구축 가이드, 훈련 코드, 평가 스크립트 일체를 제공하고 있습니다.

로컬 PC에서 3D 일관성을 갖춘 장면 생성을 테스트해 보고 싶은 개발자라면 프로젝트 페이지의 코드 링크를 통해 바로 시작할 수 있습니다.

왜 중요한가

3D 배경 제작, 게임 프로토타이핑, 로보틱스 시뮬레이션을 다루는 개발자라면 GAE를 바로 테스트해 볼 가치가 충분합니다. 과거에는 일관된 3D 월드를 만들려면 여러 모델을 복잡하게 이어 붙여야 했지만, 이제 12GB 미만의 단일 모델로 일반 그래픽카드에서 직접 파이프라인을 돌려볼 수 있습니다.

단순히 모델 파라미터를 키워 외형 픽셀만 정교하게 다듬는 대신, 잠재 공간의 기하학적 표현 방식을 근본적으로 뜯어고친 접근은 매우 영리하다고 판단됩니다. 인식 모델의 3D 공간 이해력과 생성 모델의 확산 능력을 직접 결합함으로써 향후 세계 모델 연구의 핵심적인 인터페이스 역할을 할 것으로 기대됩니다.