메타, 'SAM 3D' 공개: 2D 사진 한 장으로 3D 물체·인체 복원, 가중치 오픈소스화

SAM 3D는 평범한 2D 평면 사진 한 장에서 형태와 질감을 갖춘 3D 에셋을 재구성하는 메타의 새로운 모델군입니다. 사물과 공간 배경을 복원하는 'SAM 3D Objects'와 사람의 3차원 체형 및 자세 추정에 특화된 'SAM 3D Body' 두 가지 모델로 나뉩니다.

무엇을 할 수 있고 어떻게 써보나

기존 3D 복원 모델은 흰 배경에 깔끔하게 놓인 가상 그래픽만 학습한 경우가 많아, 일상적인 사진처럼 복잡한 배경이나 가림 현상이 나타나면 형태가 쉽게 망가졌습니다. SAM 3D는 현실 환경에서 찍은 스냅숏에서도 선택한 대상을 입체 메시로 정밀하게 뽑아냅니다.

메타는 현재 모델 가중치 파일(checkpoints)과 추론 코드를 오픈소스로 공개한 상태입니다. 현실 사진 기반의 3D 복원 성능을 검증할 수 있는 평가 데이터셋인 'SAM 3D Artist Objects(SA-3DAO)' 역시 곧 공개될 예정입니다.

로컬 PC에 개발 환경을 설치하지 않고 바로 경험해보고 싶다면 웹으로 제공되는 'Segment Anything Playground'를 방문하면 됩니다. 사진을 올리고 원하는 사람이나 사물을 클릭하기만 하면 브라우저에서 3D 재구성 결과를 확인할 수 있습니다. 이 플레이그라운드에는 최신 시각 기초 모델인 SAM 3도 함께 실려 있습니다.

실제 상용 서비스 적용도 이미 시작됐습니다. 페이스북 마켓플레이스에 도입된 'View in Room' 기능에 SAM 3D와 SAM 3가 탑재되어, 사용자가 가구나 인테리어 소품을 구매하기 전 자신의 방에 3D로 미리 배치해보고 어울림을 확인할 수 있습니다.

어떻게 만들었나

3D 모델 개발의 가장 큰 걸림돌은 데이터 부족이었습니다. 텍스트나 2D 이미지와 달리 현실 물리 세계의 정밀한 3D 정답 데이터는 턱없이 부족했고, 대부분 가상 3D 에셋에 의존하다 보니 현실 사진을 넣었을 때 성능이 급격히 떨어지는 격차가 발생했습니다.

메타는 이를 대형 언어 모델(LLM)의 훈련 방식에서 힌트를 얻어 해결했습니다. 가상 3D 데이터를 통한 사전 학습을 거친 뒤, 실제 자연 이미지를 처리할 수 있도록 사람 참여형 데이터 엔진을 활용한 사후 학습(post-training)으로 정렬 과정을 거쳤습니다.

바닥부터 3D 메시를 제작하는 일은 숙련된 아티스트만 가능하지만, 여러 모델이 생성한 메시 후보군을 보고 순위를 매기거나 검증하는 작업은 훨씬 진입 장벽이 낮습니다. 일반 라벨러가 결과를 채점하게 하고, 가장 까다로운 데이터만 전문 3D 아티스트에게 전달하는 데이터 파이프라인을 구축했습니다.

메타는 이 피드백 루프를 통해 약 100만 장의 현실 이미지에 3D 형상, 텍스처, 공간 배치를 라벨링했고 약 314만 개의 메시를 확보했습니다. 모델이 똑똑해질수록 데이터 엔진이 내놓는 결과물의 질도 함께 높아지는 선순환 구조입니다.

왜 중요한가

인디 게임 개발자, 3D 그래픽 디자이너, XR 크리에이터라면 지금 바로 써볼 만합니다. 여러 각도에서 사진을 수십 장 찍어야 했던 포토그래메트리 과정 없이도 사진 한 장으로 빠르게 기초 3D 에셋을 뽑아낼 수 있습니다.

메타가 영리했던 지점은 모델 구조 자체보다 LLM의 사후 학습 방식을 가져와 3D 분야의 만성적인 현실 데이터 가뭄을 풀어냈다는 점입니다. 단일 시점 사진의 특성상 보이지 않는 뒷면을 메울 때 디테일의 한계는 여전히 존재하겠지만, 장난감 수준에 머물던 단일 이미지 3D 생성을 실제 워크플로 영역으로 끌어올렸습니다.