Pixal3D 공개: 단일 이미지에서 초정밀 3D 에셋을 뽑아내는 픽셀 정렬 모델

단 한 장의 사진으로 3D 모델을 만드는 기술은 많았지만, 실제로 써보면 형태가 뭉개지거나 원본 이미지와 텍스처가 어긋나는 경우가 태반이었다.

단일 이미지에서 고정밀 3D 에셋을 생성하는 오픈소스 모델 Pixal3D가 공개되었다. 로컬 컴퓨터에서 직접 돌려볼 수 있는 소스 코드와 실행 가이드도 함께 배포되었다.

AI의 막연한 추측 대신 픽셀을 3D에 직접 연결하다

기존의 이미지-3D 생성 모델들은 대부분 정규화된 3D 공간에서 먼저 뼈대를 잡고, 어텐션 메커니즘을 통해 입력 이미지의 정보를 느슨하게 주입하는 방식을 썼다. 이 방식은 2D 픽셀과 3D 구조의 대응 관계가 모호해 디테일이 왜곡되기 쉬웠다.

Pixal3D는 3D 재구성 기법에서 힌트를 얻어 이 고질적인 문제를 해결했다. 모델이 임의의 각도로 형태를 상상하게 두는 대신, 입력된 시점의 픽셀에 딱 맞춰 3D를 직접 생성하는 픽셀 정렬 방식을 취했다.

다양한 스케일의 이미지 특징을 3D 볼륨으로 직접 투영하는 방식을 적용해, 원본 사진의 2D 픽셀이 3D 표면 어디에 놓여야 하는지 명확한 좌표를 만들어준 셈이다.

그 결과 피자 한 조각의 복잡한 토핑 질감까지 실물에 가깝게 복원해낸다. 공개된 벤치마크에서도 Hunyuan 3D나 Trellis 2 같은 기존 모델들보다 정밀도와 텍스처 선명도 면에서 확연한 격차를 보여준다. 또한 여러 각도의 이미지를 결합하거나, 복잡한 장면에서 개별 오브젝트를 분리해 3D로 뽑아내는 파이프라인도 지원한다.

내 컴퓨터에서 바로 돌려보기

단순한 연구 논문에 그치지 않고, 로컬 구동 코드를 완전히 공개했다는 점도 주목할 만하다.

프로젝트 페이지에 공개된 안내에 따라 코드를 내려받으면 개인 워크스테이션에서 직접 실행할 수 있다. 인디 게임 개발자나 가상 프로덕션, 제품 시각화를 다루는 3D 아티스트들이 클라우드 대기열 없이 자체 환경에서 테스트하기 좋다.

왜 중요한가

우리는 Pixal3D가 3D 생성 분야에서 가장 가려운 곳을 제대로 짚었다고 본다. 그동안의 도구들이 그럴싸하지만 쓸모는 떨어지는 모델을 쏟아냈다면, 이 프로젝트는 실제 제작 현장에서 요구하는 정밀도에 집중했다.

게임이나 영상 제작 환경에서는 생성된 3D의 디테일이 원본과 다르면 수정 작업에 더 많은 시간이 든다. Pixal3D처럼 실제 3D 스캔 수준의 충실도를 제공하는 도구는 모델링 파이프라인의 수작업 부담을 획기적으로 줄여줄 수 있다.

업계 전반에도 영향을 미칠 것이다. 단순히 텍스트나 느슨한 어텐션에만 의존하던 기존 3D 생성 아키텍처들은 픽셀 정렬 같은 정밀 결합 방식으로 전환해야 하는 압박을 받게 되었다.

물론 로컬 환경에서 원활히 돌리려면 고성능 하드웨어가 필요하고, 단일 이미지 특성상 가려진 뒷면의 디테일에는 여전히 한계가 있다. 하지만 원본의 형태를 그대로 살린 고화질 3D 메쉬가 필요한 창작자라면 지금 바로 테스트해 볼 가치가 충분하다.