메타, 'ShapeR' 공개: 일상 영상에서 크기 정확한 독립 3D 물체 추출

메타가 공개한 ShapeR는 스마트폰으로 대충 찍은 영상이나 다각도 사진 시퀀스에서 공간 내 물체들을 실제 크기에 맞춘 독립 3D 메시로 복원해 내는 프레임워크입니다.

기존의 NeRF나 3D 가우시안 스플래팅 같은 기술은 방 전체를 하나의 거대한 덩어리로 굳혀 버립니다. 벽, 책상, 의자가 한 덩어리로 붙어 있어 의자 위치를 옮기거나 컵 하나만 따로 떼어내 게임 엔진으로 가져가는 식의 편집이 불가능했습니다. ShapeR는 바로 이 편집성 문제를 해결합니다.

물체를 개별적으로 떼어내는 방식

ShapeR는 장면 전체가 아니라 물체 중심(Object-centric)으로 조건부 생성을 진행합니다. 전용 카메라 없이 일반 영상만 있으면 동작합니다.

처리 과정은 두 단계로 나뉩니다. 먼저 범용 SLAM을 통해 카메라 궤적과 희소 3D 포인트 클라우드를 계산하고, 3D 인스턴스 감지로 공간 속 물체들을 감지합니다. 이어 감지된 물체마다 관련된 다각도 이미지, 2D 투영 데이터, SLAM 포인트, VLM 캡션을 추출합니다.

이 멀티모달 데이터는 렉티파이드 플로우(Rectified Flow) 트랜스포머 모델에 조건으로 입력되며, 모델이 잠재 공간에서 노이즈를 제거해 완전한 기하학적 형태의 3D 메시를 만듭니다. 다중 시점 기하 제약과 SLAM 점군을 기준으로 삼기 때문에, 복원된 각 물체는 실제 물리적 비율과 크기(Metric accurate)를 그대로 유지합니다.

단일 이미지 기반 생성 기술들이 복잡한 방 안에서 크기 비율을 왜곡하던 한계를 사람의 수동 개입 없이 해결했습니다.

학습 방식과 오픈소스 공개 현황

주목할 점은 ShapeR가 100% 합성 데이터(Aria Synthetic Environment)로만 학습되었다는 사실입니다. 현실적인 가림 현상, 어지러운 배경, SLAM 노이즈를 반영한 대규모 증강과 커리큘럼 학습을 적용해 실제 환경에 대한 적응력을 확보했습니다.

추가 파인튜닝 없이도 ScanNet++ 같은 실제 환경 데이터에서 물체를 깔끔하게 복원해 냅니다. MapAnything 같은 도구와 결합하면 단일 사진에서도 실제 크기 기반의 3D 객체를 뽑아낼 수 있습니다. 메타의 SAM 3D와 결합해 ShapeR의 정확한 크기·배치와 SAM 3D의 질감 표현력을 합치는 것도 가능합니다.

현재 깃허브(GitHub)와 프로젝트 웹사이트에 코드, 모델 가중치, 데이터셋 포맷, 그리고 실제 환경 평가 데이터셋이 모두 공개되어 있습니다. 데이터셋에는 7개의 실제 공간과 178개 물체에 대한 정밀 3D 레이블이 포함되어 있습니다.

왜 중요한가

3D 에셋 제작자, 게임 개발자, 로보틱스 시뮬레이션을 다루는 연구자라면 바로 살펴볼 만합니다. 스마트폰으로 공간을 한 바퀴 둘러 찍는 것만으로 실제 크기 기반의 분리된 3D 소스를 얻을 수 있어, 수작업 모델링과 크기 보정 노가다를 대폭 줄여 줍니다.

기존 3D 생성이 그럴듯한 외형에만 치중해 실제 물리 크기가 엉망이었던 반면, 기하학적 SLAM의 정밀함과 생성형 트랜스포머의 형태 완성 능력을 영리하게 결합했습니다. 현실 공간을 레고 블록처럼 분해해 재구성하는 기술로서 공간 컴퓨팅과 디지털 트윈 분야에 매우 실용적인 진전을 보여줍니다.