메타, SAM 3 및 SAM 3D 공개: 텍스트로 객체 분할하고 단일 이미지 3D 복원

SAM 3와 SAM 3D는 메타가 선보인 최신 컴퓨터 비전 모델입니다. SAM 3는 자연어 문장을 사용해 이미지와 영상 속 특정 객체를 정밀하게 찾아내고 추적하며, SAM 3D는 평면 2D 사진 한 장을 사실적인 3D 입체 모델로 변환해 줍니다.

무엇을 할 수 있나: 복합 프롬프트 분할과 단일 사진 3D 복원

기존 모델들은 버스나 자동차 같은 단순 명사만 인식할 수 있어 노란색 스쿨버스 같은 구체적인 묘사를 잘 이해하지 못했습니다. SAM 3는 이런 한계를 넘어 빨간 야구 모자 같은 상세 표현은 물론, 멀티모달 LLM과 결합해 앉아 있지만 빨간 모자를 쓰지 않은 사람처럼 복잡한 배제 조건까지 매끄럽게 처리합니다.

영상 내 객체를 실시간으로 추적하는 것은 물론, 파란 셔츠를 입은 사진을 올린 뒤 텍스트로 빨간 셔츠로 바꿔 달라고 요청하는 식의 객체 편집도 지원합니다.

SAM 3D는 여기서 한 발 더 나아가 대상을 3차원으로 재구성합니다. 사물과 배경을 담당하는 SAM 3D Objects와 체형을 추정해 인체를 복원하는 SAM 3D Body로 나뉘어 있어, 사진 속 인물이나 가구를 3D 데이터로 만들어 게임 엔진이나 VR 공간으로 가져올 수 있습니다.

체험 방법과 오픈소스 공개 범위

별도 설치 없이 웹 기반의 신규 Segment Anything Playground에서 두 모델을 바로 테스트해 볼 수 있습니다. 사진이나 영상을 올린 뒤 텍스트로 원하는 대상을 잘라내거나, SAM 3D로 시점을 돌려가며 물체를 재배치해 볼 수 있습니다.

공개 범위를 보면 SAM 3는 소스 코드와 가중치, 평가 벤치마크, 논문까지 완전히 오픈소스로 풀렸습니다. 다만 3D 복원을 담당하는 SAM 3D는 아직 모델 가중치가 완전히 공개되지 않았으며, 플레이그라운드 체험 및 페이스북 마켓플레이스의 가구 가상 배치 기능 등에 우선 적용되어 있습니다.

왜 중요한가

영상 편집 파이프라인이나 그래픽 툴을 만드는 개발자에게 SAM 3는 즉시 도입할 만한 도구입니다. 복잡한 마스킹 작업 없이 텍스트 한 줄로 영상 속 움직이는 객체를 깔끔하게 떼어낼 수 있어 제작 비용을 크게 줄여줍니다.

우리는 단일 이미지 기반의 3D 에셋 제작 문턱이 매우 빠르게 낮아지고 있다고 봅니다. 비록 SAM 3D의 가중치가 아직 전부 풀리지는 않았지만, 값비싼 다중 카메라 스캔 장비 없이 평범한 사진 한 장으로 입체 결과물을 뽑아내는 워크플로가 현실로 다가왔음을 보여줍니다.