MAMMA: 카메라 4대만으로 구현하는 고정밀 3D 모션 캡처

지금까지 정밀한 모션 캡처를 하려면 수십 대의 적외선 카메라가 설치된 전용 스튜디오에서 반사 마커가 덕지덕지 붙은 전신 타이즈를 입어야 했습니다. 특히 두 사람이 춤을 추거나 포옹할 때처럼 몸이 겹치는 동작은 마커가 가려져 트래킹이 튀기 일쑤였습니다.

막스플랑크 지능시스템연구소(MPI-IS)와 카네기멜론대학교(CMU) 연구진이 이 한계를 뛰어넘는 시스템을 내놓았습니다. CVPR 2026 구두 발표(Oral)로 선정된 오픈소스 시스템 'MAMMA'는 단 4대의 일반 카메라만으로 다인의 정밀한 3D 모션을 캡처해 냅니다.

마커 없이 카메라 4대로 만드는 '불릿 타임'

MAMMA는 'Markerless Accurate Multi-person Motion Acquisition'의 약자로, 마커나 웨어러블 센서 없이 다각도 비디오를 정밀한 3D 디지털 모델로 변환해 주는 기술입니다.

값비싼 특수 장비 대신 스마트폰이나 액션캠 4대만 적절한 각도로 배치하면 충분합니다. 야외에서 iPhone 4대로 찍은 영상에서도 매끄럽게 동작합니다.

무엇보다 강력한 점은 복잡한 다인 상호작용 추적입니다. 기존 마커리스 방식이 가장 취약했던 바차타 같은 커플 댄스, 포옹, 바닥에서 엉켜 넘어지는 격한 접촉 동작도 안정적으로 3D 모델링으로 복원해 냅니다.

공간 속 인체 형상이 3차원으로 완벽히 재구성되기 때문에, 영화 《매트릭스》의 상징적인 회전 카메라 연출인 '불릿 타임' 효과도 손쉽게 렌더링할 수 있습니다.

오픈소스 비전 AI의 총집합, 웹 UI까지 지원

MAMMA의 기술적 핵심은 검증된 최신 컴퓨터 비전 모델들을 유기적인 파이프라인으로 엮어낸 데 있습니다.

파이프라인은 영상 캡처, 마스킹, 2D 랜드마크 추출, 3D 최적화, 시각화 단계로 이어집니다. 내부에서는 메타 FAIR의 SAM 2 및 SAM 3를 세그멘테이션에 활용하고, YOLOv12로 인물을 검출하며, ViTPose와 HRNet으로 관절 위치를 찾습니다. 이를 MPI의 정밀 신체 모델인 SMPL-X에 투영하고 Rerun 뷰어로 렌더링합니다.

연구 코드임에도 사용성에도 신경을 썼습니다. 터미널 명령어 외에도 Flask와 React 기반의 브라우저 UI를 제공해, 로컬 3000번 포트에서 번들로 제공되는 56MB 분량의 4시점 샘플 데이터를 마우스 클릭 한 번으로 실행해 볼 수 있습니다. 댄스, 다인 인터랙션, 아이폰 촬영본 등 5개 계열의 데이터셋도 함께 공개되었습니다.

왜 중요한가

우리는 MAMMA가 고가의 전용 하드웨어 시장을 소프트웨어 알고리즘으로 대체하는 결정적 전환점을 보여준다고 생각합니다. 파운데이션 모델들을 똑똑하게 연결하는 것만으로 수억 원대 모션 캡처 스튜디오에 준하는 결과물을 얻을 수 있음을 입증했기 때문입니다.

인디 게임 개발자나 3D 애니메이터, 가상 인플루언서 제작자들에게는 진입 장벽을 완전히 허물어 주는 기술입니다. 값비싼 스튜디오 대관 없이 야외 공터에서 스마트폰 몇 대만 세워두고 두 사람의 액션을 캡처할 수 있는 길이 열렸습니다.

물론 한계도 명확합니다. 현재 깃허브 코드는 비상업적 학술 연구 라이선스로 배포되어 상용 엔진에 바로 적용하기는 어렵습니다. 여러 카메라의 캘리브레이션과 3D 최적화 연산에 상당한 GPU 연산량이 필요하다는 점도 감안해야 합니다.

그럼에도 마커 기반의 전신 수트 시대가 저물고 있다는 점은 분명해 보입니다. 컴퓨터 비전의 진화가 고가의 물리 센서를 빠르게 대체해 나가고 있습니다.