WorldSculpt 공개: 복잡한 3D 장면을 수백 개의 개별 객체로 분리

스마트폰으로 방 안을 훑어 3D 모델을 만드는 기술은 이미 널리 쓰이고 있다. 문제는 그렇게 만들어진 결과물이 대부분 거대한 하나의 덩어리로 굳어 있다는 점이다. 테이블과 바닥이 붙어 있고, 컵이 식탁에 녹아들어 있어 의자 하나만 옮기려 해도 배경에 커다란 구멍이 뚫리고 만다.

Alaya Lab과 도쿄대학 연구진은 이 한계를 깨뜨리기 위한 오픈소스 3D 복원 프레임워크인 WorldSculpt를 공개했다. 주석이 달린 영상이나 다각도 사진을 입력받아 수백 개의 독립된 3D 메시 객체로 분해된 장면을 복원해 낸다. 최근 주목받는 3D 가우시안 스플래팅 장면을 개별 편집이 가능한 메시로 역변환하는 기능까지 갖췄다.

한 덩어리 장면을 수백 개의 개별 오브젝트로 분리

기존의 NeRF나 가우시안 스플래팅 같은 3D 복원 기술은 공간 전체를 하나의 연속된 시각적 캔버스로 처리해 왔다. 겉보기에는 매우 사실적이지만, 게임 엔진이나 3D 저작 도구로 가져오면 모든 물체가 하나로 엉겨 붙어 있어 수정하기가 불가능에 가까웠다.

WorldSculpt는 정반대의 방식을 택했다. 장면 안의 책, 램프, 가구 등 모든 물체를 독립적이고 온전한 단일 3D 메시로 복원한다. 공개된 웹 뷰어에서는 마우스를 올리는 것만으로 개별 오브젝트를 강조 표시할 수 있고, 클릭 한 번으로 물체를 떼어내거나 슬라이더를 당겨 방 안의 물건 수백 개를 폭발도처럼 분해할 수 있다.

분리된 물체는 위치를 옮기거나 크기를 조절하는 등 자유롭게 편집할 수 있다. 가려진 뒷면까지 자연스럽게 채워져 생성되기 때문에, 테이블 위의 물건을 다른 곳으로 치워도 원래 자리에 어색한 빈 공간이 남지 않는다.

단일 객체 모델로 수백 개 물체를 확장 복원

가려진 수백 개의 물체를 한꺼번에 복원하는 작업은 엄청난 연산량이 필요해 보인다. WorldSculpt는 전체 복잡도를 한 번에 계산하는 대신, 단일 객체 생성 모델인 Pixal3D를 영리하게 개조해 이를 해결했다.

각 물체의 3D 바운딩 박스를 기준으로 여러 각도에서 들어오는 DINOv3 특징을 정규화된 복셀 공간에 투영해 통합한다. 관측된 부분은 실제 촬영 이미지를 충실하게 반영하고, 가려진 부분은 생성 모델의 사전 학습 능력을 바탕으로 자연스럽게 채워 넣는다.

모든 메시가 개별적으로 완결된 형태를 갖추기 때문에, 전체 장면을 재조합할 때 복잡한 최적화 과정 없이 단순한 강체 변환만 거치면 된다. 단일 객체 데이터로만 학습하고도 수백 개의 물체가 뒤엉킨 복잡한 대형 장면을 무리 없이 처리할 수 있는 이유다.

연구팀은 World Labs의 Marble로 생성된 3D 가우시안 스플래팅 장면에서도 테스트를 거쳤다. 점 클라우드 형태의 장면에서 렌더링된 시점 이미지를 통해 각 물체를 80만 개 가우시안 수준으로 압축된 독립 메시로 깔끔하게 추출해 냈다. 또한 언리얼 엔진 5.8 기반으로 구축된 고밀도 벤치마크 환경도 함께 제시했다.

왜 중요한가

WorldSculpt는 3D 비전 기술이 겪고 있던 가장 큰 병목, 즉 단순 감상용 3D 모델을 실제 작업에 쓸 수 있는 디지털 에셋으로 바꾸는 문제를 정면으로 다뤘다.

게임 개발자나 특수효과 아티스트, 로봇 공학자들에게 실사 스캔 데이터는 손이 너무 많이 가는 대상이었다. 스캔 품질이 뛰어나더라도 결국 사람이 일일이 메시를 떼어내고 정리해야 했기 때문이다. WorldSculpt는 촬영된 영상에서 곧바로 조작 가능한 에셋 라이브러리를 뽑아내는 파이프라인의 가능성을 명확히 증명했다.

3D 가우시안 스플래팅 기술의 치명적인 단점이었던 편집 불가능 문제를 우회하는 다리 역할을 한다는 점도 돋보인다. 렌더링 속도가 빠른 가우시안 스플래팅을 중간 단계로 삼아 전통적인 3D 메시로 변환해 주는 방식은 매우 실용적인 접근이다.

물론 당장 누구나 클릭 한 번으로 쓸 수 있는 수준은 아니다. 코드는 오픈소스로 공개되었지만 입력 시 정밀한 인스턴스 마스크와 3D 바운딩 박스가 필요하며, 언리얼 벤치마크 원본 데이터 역시 저작권 문제로 별도 요청을 거쳐야 한다. 그럼에도 굳어 있던 3D 복원물을 레고 블록처럼 분해해 낼 수 있는 길을 열었다는 점에서 주목할 가치가 충분하다.