사진 한 장으로 3D 세계 전체를 구현하는 'DistScene' 공개

AI로 3D 장면을 만들어 본 사람이라면 개별 물체들이 엉성하게 짜맞춰져 공간이 무너지는 현상을 자주 겪어보았을 것입니다. 의자나 테이블을 제각각 생성한 뒤 한 방에 모아 넣다 보면, 바닥을 뚫고 들어가거나 공중에 뜨는 식의 어색함이 쉽게 발생합니다.

공개된 새로운 3D 장면 생성 프레임워크 'DistScene'은 이 같은 결합 오류를 정면으로 해결하고자 합니다. 단 한 장의 환경 사진만 있으면 주변 환경과 그 안의 개별 물체들이 완벽히 정렬된 3D 세계를 통째로 복원해 냅니다.

하나의 좌표계에서 함께 빚어내는 공간

기존 방식 대다수는 장면을 그저 독립된 물체들의 집합으로 취급했습니다. 물체들이 주변 바닥이나 벽면 같은 지오메트리 맥락 없이 제각각 만들어지다 보니, 나중에 하나로 합칠 때 위치가 어긋나는 문제가 불가피했습니다.

DistScene은 접근법을 완전히 바꿨습니다. 주변 환경을 명시적인 뼈대로 삼고, 하나의 공유된 3D 좌표계 안에서 환경과 개별 물체를 동시에 생성합니다. 덕분에 물체들이 처음부터 서로의 상대적 위치와 공간 구조를 인지한 상태로 자리 잡게 됩니다.

전체 공간을 한 번에 다루다 보면 개별 물체의 세부 형태가 뭉개질 수 있는데, 연구진은 이를 정교한 후처리 단계로 보완했습니다. 생성된 물체를 하나씩 분리해 국소 좌표계에서 주변 맥락에 맞춰 디테일을 정밀하게 다듬은 뒤, 원래의 정확한 위치로 되돌려 놓는 방식입니다. 여기에 사전 학습된 단일 물체 생성 능력을 전체 장면에 전달하는 객체-장면 증류 기술도 적용되었습니다.

벤치마크 검증과 오픈소스 공개 계획

논문에 따르면 실내와 실외 벤치마크 테스트 전반에서 공간 일관성, 기하학적 정밀도, 전반적인 시각 품질 모두 기존 기준 모델들을 명확히 앞섰습니다.

현재 프로젝트 페이지가 열려 있으며, 연구진은 향후 훈련된 모델과 데이터셋을 공식 공개할 예정이라고 밝혔습니다.

왜 중요한가

게임 개발자나 3D 그래픽 아티스트에게 단 한 장의 2D 레퍼런스를 분리 편집 가능한 3D 월드로 바꾸는 기술은 작업 효율을 비약적으로 끌어올릴 수 있는 도구입니다. 환경과 소품이 따로 분리된 채 올바른 위치에 놓여 있어 수작업 배치 부담이 크게 줄어듭니다.

더 넓게는 로보틱스와 공간 지능 분야에 미칠 영향이 상당합니다. 로봇이 현실 세계와 상호작용하기 위한 가상 시뮬레이션을 구축할 때, 왜곡 없는 3D 공간 데이터는 필수적입니다. 인터넷의 수많은 평면 사진을 물리적으로 정합된 3D 데이터로 대량 변환할 수 있다면 시뮬레이터 환경 구축 비용이 획기적으로 낮아집니다.

공유 좌표계로 전체 구조를 단단히 잡은 뒤 개별 에셋을 국소적으로 정밀화한 설계는 매우 영리합니다. 실제 모델이 오픈소스로 풀렸을 때 복잡하고 어수선한 실제 환경 사진에서도 데모 수준의 완성도를 유지할 수 있을지가 상용화의 핵심 관건이 될 것입니다.