평면도 한 장으로 온전한 3D VR 주택 투어 생성하는 AI 모델 ‘PanoWorld’ 공개

생성형 AI로 집 인테리어를 구상해 본 사람이라면 누구나 비슷한 답답함을 느껴봤을 것입니다. 거실 이미지를 아무리 완벽하게 뽑아내도, 바로 옆 복도나 침실 앵글을 요청하는 순간 벽면 위치가 틀어지고 가구 색상이 제멋대로 바뀌는 이른바 ‘기억상실’ 현상 때문입니다.

기존 2D 이미지 생성기는 단일 컷의 품질은 뛰어나지만 시점이 바뀔 때마다 공간 기하 구조를 새로 상상해 버립니다. 그렇다고 주택 전체를 단일 3D 데이터로 통째로 만들자니 연산 비용이 지나치게 커지고 텍스처 디테일이 뭉개지기 일쑤였습니다.

연구진은 이 간극을 메우는 생성형 공간 세계 모델 ‘PanoWorld’를 공개했습니다. 2D 평면도 한 장과 인테리어 스타일 참고 이미지 하나만 입력하면, 가구가 배치된 주택 전체의 연결된 360도 파노라마 가상 투어를 자동으로 생성합니다.

공간 메모리를 장착한 파노라마 생성 기술

PanoWorld의 핵심 아이디어는 일반적인 부동산 VR 투어 방식에서 출발합니다. 무리하게 연속적인 전체 3D 메쉬를 구축하는 대신, 집안 곳곳의 360도 파노라마 지점을 노드로 삼아 자기회귀 방식으로 순차 생성합니다.

시점이 이동해도 일관성이 무너지지 않도록 모델은 이중 장치를 둡니다. 평면도에서 추출한 주택 ‘3D 쉘’을 전체 뼈대로 삼고, 동적 3D 가우시안 스플래팅(3DGS) 캐시를 렌더링 가능한 공간 메모리로 활용합니다.

새로운 지점의 파노라마가 만들어질 때마다 전용 피드포워드 파노라마 LRM이 이를 국소적인 3DGS 데이터로 변환해 메모리에 누적합니다. 여기에 방 인식 그룹 어텐션 기술을 적용해 안방의 질감이나 가구 특징이 거실로 번져나가는 간섭 현상도 차단했습니다.

덕분에 같은 구조를 유지하면서 스타일만 프렌치 럭셔리에서 모던 미니멀리즘으로 순식간에 교체할 수 있으며, 방 사이를 이동해도 가구 배치와 마감재가 어색하게 바뀌지 않습니다.

데모는 공개됐지만 코드는 대기 중

연구팀은 현재 arXiv에 논문을 게시하고 프로젝트 웹페이지를 통해 다채로운 인테리어 스타일과 가상 주택 투어 데모를 선보였습니다.

하지만 실무에 바로 가져다 쓸 수는 없습니다. 프로젝트 페이지에는 코드와 모델 가중치가 모두 ‘공개 예정’으로 표시되어 있어 정식 릴리스를 기다려야 하는 상태입니다.

왜 중요한가

건축가, 인테리어 디자이너, 부동산 플랫폼 실무자에게 PanoWorld가 제시하는 워크플로는 파괴적입니다. 클라이언트에게 보여줄 서너 가지 스타일 시안을 며칠씩 3D로 모델링하고 렌더링하던 작업이, 평면도 기반의 몇 분짜리 인터랙티브 VR 투어 생성으로 단축될 수 있기 때문입니다.

기술적으로도 버티컬 영역에서 세계 모델을 어떻게 효율적으로 구현할지 모범 답안을 보여줍니다. 엄청난 연산량이 드는 완전 연속 3D 공간을 고집하는 대신, 2D 생성 모델의 뛰어난 텍스처 품질과 3DGS의 공간 메모리를 영리하게 분리해 다중 공간 일관성 문제를 풀어냈습니다.

물론 3D 공간을 자유롭게 걸어 다니는 방식이 아니라 포인트를 찍어 이동하는 방식이라는 태생적 한계는 있습니다. 하지만 생성 AI에 안정적인 공간 지각과 구조적 기억을 심어줬다는 점에서, 향후 공간 컴퓨팅과 건축 시각화 도구 전반에 중요한 기준점이 될 것으로 보입니다.