UniSH 오픈소스: 일반 영상에서 3D 공간과 인체 움직임을 한 번에 복원

UniSH는 일반 영상 하나에서 3D 배경 공간과 움직이는 인체를 동시에 복원하는 오픈소스 프레임워크입니다. 별도의 반복 최적화 없이 단 한 번의 순방향 추론으로 배경과 인물 메쉬를 함께 추출합니다.

무엇을 할 수 있나

일반 실사 영상을 입력하면 UniSH는 네 가지 핵심 정보를 동시에 계산합니다. 주변 배경의 3D 포인트 클라우드, 카메라의 움직임 궤적, 실제 미터법 스케일이 반영된 동적 SMPL 인체 메쉬, 그리고 인체의 정밀 포인트 클라우드입니다.

모든 결과가 단일 좌표계 안에서 통합 생성되므로, 사람이 공중에 뜨거나 배경 메쉬를 뚫고 들어가는 위치 불일치 문제가 최소화됩니다.

촬영 기기의 흔들림이 심하거나 인물이 빠르고 복잡하게 움직이는 영상에서도 안정적인 궤적을 예측하여, 사용자가 원하는 각도에서 공간과 인체 움직임을 자유롭게 둘러볼 수 있습니다.

어떻게 구현했나

기존 방식은 배경 공간 재구성 기술과 인체 자세 추정 기술이 완전히 분리되어 있어 두 데이터를 결합할 때 스케일 불일치가 자주 발생했습니다. 또한 정밀한 3D 라벨이 붙은 실사 데이터가 극히 부족하여, 가상 데이터로만 학습한 모델은 실전 영상에서 심각한 왜곡을 겪었습니다.

UniSH는 영상마다 긴 시간 반복 계산을 수행하던 기존 최적화 방식 대신, 단일 순방향 패스로 끝나는 구조를 택했습니다.

실사 영상에 대한 적응력을 높이기 위해 연구진은 두 가지 핵심 메커니즘을 적용했습니다.

첫째는 고주파 디테일 증류 전략입니다. 전문 깊이 추정 모델로부터 표면 세부 정보를 전달받아 인체 형상의 지오메트리 정밀도를 끌어올립니다.

둘째는 2단계 지도 학습입니다. 먼저 가상 데이터를 통해 공간의 대략적인 위치를 학습한 뒤, 라벨이 없는 실제 영상에서 파인튜닝을 진행합니다. 이 과정에서 SMPL 메쉬와 인체 포인트 클라우드 간의 기하학적 대응 관계를 직접 최적화하여 합성 데이터와 현실 사이의 도메인 격차를 해소했습니다.

로컬 실행 방법

프로젝트 소스 코드는 GitHub에 공개되어 있으며 공식 페이지를 통해 오프라인 환경 설치 및 실행 안내가 제공됩니다.

저장소를 복제한 뒤 환경 설정 가이드에 따라 라이브러리를 구성하면, 개인 로컬 장비에서 직접 영상을 넣어 3D 포인트 클라우드와 메쉬 데이터를 뽑아낼 수 있습니다.

왜 중요한가

게임 개발, XR 가상 환경 구축, 로보틱스 공간 인식을 다루는 개발자에게 UniSH는 번거로운 파이프라인을 획기적으로 줄여줍니다. 배경 스캔과 인체 모션 캡처를 따로 돌려 수작업으로 크기를 맞추던 작업을 단일 모델로 해결할 수 있기 때문입니다.

특히 반복 최적화 알고리즘 대비 순방향 추론이 갖는 속도 이점은 상당합니다. 사람이 상호작용하는 일상 영상을 빠르게 3D 에셋으로 변환해야 한다면 로컬에서 즉시 테스트해 볼 가치가 충분합니다.