픽스월드 공개: 잠재 공간 건너뛰고 픽셀 단위로 3D 장면 생성·복원

AI로 3D 장면을 생성할 때 가장 큰 걸림돌 중 하나는 잠재 공간(Latent Space)을 거치면서 생기는 디테일 손실이었습니다. 연산량을 줄이기 위해 VAE 등으로 이미지를 압축했다가 복원하는 과정에서 흐릿함이나 왜곡이 발생하기 십상이었습니다.

공개된 새로운 연구 PixWorld는 이 중간 압축 단계를 완전히 걷어내고, 픽셀 공간에서 3D 재구성(Reconstruction)과 생성(Generation)을 단일 모델로 통합했습니다.

VAE를 버리고 픽셀 공간에서 직접 3D 가우시안 디코딩

기존의 3D 월드 생성기들은 대부분 사전 학습된 VAE나 RAE를 이용해 잠재 공간에서 확산 모델을 구동했습니다. 하지만 이는 최종 3D 형상이 아니라 중간 특징값을 최적화하는 방식이라 원본 정보가 손실되는 문제가 있었습니다.

PixWorld는 잠재 공간을 아예 쓰지 않습니다. 카메라 포즈가 포함된 다중 뷰 입력을 깨끗한 데이터(재구성용)와 노이즈가 섞인 데이터(생성용)로 나눈 뒤, 2-스트림 Diffusion Transformer를 통해 처리합니다.

모델은 단 한 번의 순방향 연산으로 픽셀 정렬된 3D 가우시안(3D Gaussian) 표현을 복원해냅니다. 렌더링된 다중 뷰 이미지에 픽셀 공간 플로우 매칭 손실을 직접 적용하기 때문에, 최적화 목표가 실제 3D 시각 품질과 완벽하게 일치합니다.

여기에 평면적인 2D 질감 모사에 그치지 않도록 π³나 VGGT 같은 동결된 3D 파운데이션 모델의 기하학적 특징 공간을 활용한 기하 인식 손실(Geometry Perception Loss)을 도입했습니다. 입체적인 3D 구조를 명확히 파악하도록 감시하는 장치입니다.

처리 속도 역시 눈에 띕니다. 증류 기법을 적용한 4단계 모델은 한 장면을 생성하는 데 약 0.6초밖에 걸리지 않으며, 연구진은 기존 확산 기반 월드 생성기보다 최대 1,000배가량 빠르다고 밝혔습니다. 현재 프로젝트 페이지에는 코드 저장소 버튼이 마련되어 있으며, 데이터셋과 가중치를 순차적으로 공개할 예정입니다.

왜 중요한가

게임 개발자, 가상 프로덕션 제작진, 로봇 공학 연구자들에게 사진 몇 장이나 단일 프레임만으로 1초도 안 돼 탐색 가능한 3D 가우시안 공간을 얻을 수 있다는 점은 파이프라인의 엄청난 단축을 의미합니다.

우리는 PixWorld가 잠재 공간 의존증을 깼다는 점에서 매우 영리한 접근이라고 봅니다. 픽셀 공간에서 3D를 직접 다루는 것은 비효율적이라는 기존 통념을 뒤집고, 3D 가우시안 렌더링과 기하학적 손실 함수를 결합해 압축 왜곡을 없애면서도 증류를 통해 극단적인 속도를 증명했기 때문입니다.

다만 픽셀 공간 학습은 여전히 막대한 컴퓨팅 파워를 요구하며, 훈련 데이터 범위를 벗어난 광활한 야외 환경에서도 기하학적 일관성을 유지할 수 있을지는 검증이 필요합니다. 실제 코드와 모델이 공개된 뒤 커뮤니티의 실전 테스트를 지켜볼 필요가 있습니다.