원더 다이내믹스 모션 예측 공개: 가려진 액션도 3D로 완벽 복원

일반 촬영 영상으로 3D 모션 캡처를 시도해 본 사람이라면 누구나 겪는 골칫거리가 있습니다. 배우가 기둥 뒤를 지나가거나 다른 사람과 겹치는 순간, 3D 캐릭터 관절이 뒤틀리거나 트래킹이 끊겨버리는 현상입니다.

마커리스 모션 캡처 기술을 개발하는 Wonder Dynamics가 이 같은 가림 현상을 해결하기 위한 신규 AI 모델 '모션 프리딕션(Motion Prediction)'을 공개했습니다.

이 기능은 Wonder Animation의 Video to 3D Scene 작업 환경에 적용되었습니다. 사물이나 다른 배우에 의해 신체 일부 혹은 전체가 화면에서 가려지더라도, AI가 배우의 움직임을 추론해 끊김 없는 애니메이션을 완성해 줍니다.

가려진 순간의 움직임을 AI로 보간

기존 마커리스 모션 캡처는 픽셀 기반 추적에 의존하기 때문에 시야가 조금만 가려져도 데이터 손실이 컸습니다.

새 모델은 부분 가림 상황에서 포즈를 예측해 신체 부위가 보이지 않아도 뼈대 동작이 급격하게 튀지 않도록 유지합니다.

배우가 장애물 뒤로 완전히 사라졌다가 나오는 짧은 구간에서도 전후 움직임을 바탕으로 자연스러운 자세를 만들어내어, 가림이 끝났을 때 캐릭터가 순간이동하듯 나타나는 문제를 줄였습니다.

클로즈업 샷의 발 미끄러짐과 떨림 개선

카메라 화각을 벗어나는 장면에 대한 대응도 개선되었습니다.

상반신만 잡히는 클로즈업 구도처럼 다리가 화면 밖으로 나간 상태에서도 하반신 자세의 추정 정밀도를 높였습니다. 그 결과 3D 공간에서 발이 바닥과 닿는 지지력이 안정화되고, 발이 미끄러지는 현상이 크게 줄었습니다.

AI 모션 추출 시 흔히 발생하는 자잘한 신체 떨림이나 튀는 현상을 걸러내는 노이즈 감소 기능도 함께 적용되었습니다.

왜 중요한가

1인 창작자나 소규모 시각특수효과(VFX) 팀에게 이번 개선은 불필요한 후반 수정 작업을 줄여주는 실질적인 변화입니다.

그동안은 영상 캡처 과정에서 가림 현상이 생길 때마다 마야나 블렌더 같은 3D 툴에서 애니메이터가 키프레임을 일일이 다시 찍어 맞춰야 했습니다. 촬영 시 카메라 앵글이나 동선에 대한 제약이 줄어들면서 작업 진입 장벽이 한층 낮아졌습니다.

업계 관점에서는 고가의 전용 모션 캡처 수트나 복잡한 센서 장비 없이 일반 영상만으로 제작 가능한 마커리스 기술이 상용 파이프라인에 더 깊숙이 침투하고 있음을 보여줍니다. 단일 카메라가 가진 시야각의 물리적 한계를 예측 알고리즘으로 메우는 영리한 접근입니다.

다만 추론 기반 시스템의 한계는 염두에 두어야 한다고 봅니다. 걷기나 달리기처럼 일정한 리듬이 있는 동작은 자연스럽게 채워 넣을 수 있지만, 장애물 뒤에서 배우가 갑작스럽게 방향을 틀거나 즉흥적인 동작을 취할 경우 알고리즘의 예측이 빗나갈 수밖에 없습니다. 대략적인 모션 추출 비용은 크게 줄겠지만, 정교한 연출이 필요한 장면에선 여전히 사람의 검수가 필수적일 것으로 보입니다.