단일 영상에서 시뮬레이션 가능한 4D 장면 복원하는 'OVOW' 공개

OVOW(One Video, One World)는 추가 학습 없이 일반 단안 비디오나 단일 이미지 한 장을 물리 시뮬레이션에 바로 쓸 수 있는 4D 메시 장면으로 복원해 주는 오픈소스 시스템입니다.

기존 비디오 기반 3D 복원이 전체 장면을 하나의 덩어리로 뭉개거나 상호작용이 불가능한 신경망 필드로 출력했던 것과 달리, OVOW는 장면 내 객체들을 독립된 수밀(watertight) 메시로 각각 분리합니다. 여기에 6자유도(6-DoF) 포즈 궤적과 변형 애니메이션을 함께 복원해 물리 엔진에 즉시 투입 가능한 GLB 및 URDF 형식으로 조립해 냅니다.

영상을 물리 엔진 환경으로 분해하는 방법

OVOW는 대규모 모델을 처음부터 새로 훈련하지 않고, 기존의 우수한 기반 모델들을 4단계 파이프라인으로 엮어 냈습니다.

첫 단계는 장면 이해와 분할입니다. Qwen3-VL이 객체들을 식별해 정적 물체, 강체, 변형 가능 물체로 분류하고, SAM 3가 프레임별 정밀 마스크를 추출합니다.

두 번째는 객체별 메시 복원입니다. 정적 및 강체 객체는 FLUX.2로 가려진 부분을 채운 뒤 Hi3DGen을 통해 3D 메시를 만들고, 변형 객체는 Motion324와 훈위안(Hunyuan)을 이용해 위상 구조가 일관된 메시 시퀀스를 생성합니다. 크기 복원에는 VGGT가 활용됩니다.

마지막은 포즈 최적화와 물리 조립입니다. RoMa v2와 FoundationPose를 활용한 렌더-매칭 루프를 통해 전체 이동 궤적과 국소 변형을 분리하여 추적합니다. 여기에 지면 추정과 접촉 투영을 더해 중력 아래에서 물체가 정상적으로 안착하고 충돌하도록 만듭니다.

하드웨어 요구 사양과 라이선스

실행 요구 사양은 상당히 높습니다. Linux 환경, CUDA 12.1+ 버전, 약 120GB의 저장 공간이 필요하며, 최소 40GB 이상의 VRAM을 갖춘 NVIDIA GPU가 권장됩니다.

108프레임 분량의 비디오를 처리하는 데는 엔드투엔드로 약 19~22분이 걸립니다. 대량 작업을 위해 SAM 3, FoundationPose, RoMa v2 같은 대형 모델을 프로세스 상주 서비스 형태로 띄워 두고 재사용할 수 있도록 설계되었습니다.

프로젝트는 GitHub에 공개되어 있습니다. OVOW 자체 코드는 MIT 라이선스이지만, 내부에 포함된 NVIDIA FoundationPose, SpaTrackerV2, Motion324 등의 외부 컴포넌트에 비상업적 라이선스가 적용되어 있어 연구 목적의 비상업적 용도로만 사용할 수 있습니다.

왜 중요한가

로보틱스, 체화 AI(Embodied AI), 물리 시뮬레이션 환경을 구축하는 연구자라면 OVOW를 직접 확인해 볼 가치가 충분합니다. 막대한 비용을 들여 엔드투엔드 4D 생성 모델을 처음부터 학습시키지 않더라도, 검증된 오픈 비전 모델들을 정교하게 엮는 것만으로 현실 비디오를 물리 자산으로 탈바꿈시킬 수 있음을 보여주기 때문입니다.

다만 40GB VRAM이라는 높은 진입 장벽과 복잡한 종속성, 비상업 라이선스 제약으로 인해 당장 상용 파이프라인에 도입하기는 어렵습니다. 지금 단계에서는 현실 기반 시뮬레이션 데이터를 자동으로 생성하는 유력한 연구용 청사진으로 평가할 수 있습니다.