VAST, 단일 사진을 편집 가능한 3D 공간으로 바꾸는 Mira-Scene 오픈소스 공개

Mira-Scene은 단 한 장의 2D 사진을 분리 편집이 가능한 3D 장면으로 통째로 복원해 내는 오픈소스 파이프라인입니다.

기존 AI 모델로 3D 장면을 구성할 때는 물체의 크기 비율이 왜곡되거나 원본 사진의 원근감과 어긋나는 문제가 빈번했습니다. Mira-Scene은 픽셀 단위의 조밀한 대응 관계를 복원하여, 원본 이미지의 구도와 물리적 위치가 완벽히 일치하도록 공간을 재구성합니다.

어떤 작업을 할 수 있나

사진 한 장을 입력하면 시스템이 피사체들을 개별 객체로 자동 분할하고, 각각의 3D 메시를 생성한 뒤 원래 공간 좌표에 정확히 배치합니다.

모든 사물이 독립된 메시 객체로 생성되기 때문에 복원 즉시 블렌더로 불러와 의자나 소품을 자유롭게 이동하고 수정할 수 있습니다. 또한 물리 시뮬레이터와 직접 연동하여 로봇 자율주행이나 파지 훈련을 위한 가상 환경으로 바로 투입할 수 있습니다.

동작 방식과 성능

Mira-Scene은 인스턴스 분할, 심도 추정, 정규 좌표계 및 복셀 예측(Mira-CCM), 개별 메시 생성, 장면 조합과 환경 맵 렌더링을 순차적으로 수행합니다.

각 물체의 3차원 바운딩 박스와 스케일을 이미지 투영 기준에 정확히 맞추기 때문에 왜곡 없는 정렬이 가능합니다.

수백만 건의 데이터와 수작업 주석에 의존하는 폐쇄형 모델 SAM3D와 비교했을 때, Mira-Scene은 완전 자동화된 파이프라인과 8만 건의 데이터셋만으로 3D-IoU(0.727 대 0.520), 2D-IoU(0.783 대 0.672) 등 핵심 지표에서 우수한 성적을 거두었습니다.

실행 방법과 오픈 범위

전체 코드는 MIT 라이선스로 GitHub에 공개되었습니다. 저장소 및 모델 크기는 약 6.1GB 수준으로, 고가의 엔터프라이즈 장비 없이 중급 소비자용 GPU에서도 구동할 수 있습니다.

추론 파이프라인, 사전 학습 및 최종 체크포인트, 미세조정용 데이터셋이 GitHub과 Hugging Face에 모두 업로드되어 있습니다. 중단 지점 복구 기능과 다중 GPU 분산 처리를 기본 지원합니다.

왜 중요한가

3D 디자이너, 인디 게임 개발자, 로보틱스 연구원에게 즉각적인 실무 가치를 제공합니다. 수작업 모델링이나 복잡한 포토그래메트리 과정 없이 평범한 사진 한 장으로 시뮬레이션 가능한 가상 공간을 얻을 수 있습니다.

또한 수작업 라벨링 없이 기하학적 정렬 알고리즘만 잘 설계해도 8만 건의 데이터로 폐쇄형 대형 모델을 넘어설 수 있음을 보여주었다는 점에서, 오픈소스 3D 공간 생성 기술의 실용적 전환점을 마련했습니다.