단안 2D 영상으로 동적 4D 장면 복원하는 'Lift4D' 공개

스마트폰으로 뛰어노는 반려견을 찍다 보면 카메라 앵글 반대편의 모습이 궁금해질 때가 있다. 영상을 멈춰 두고 시점을 뒤로 돌려 반대편 다리가 어떻게 움직였는지 확인하는 일은 지금까지 불가능에 가까웠다.

하지만 6월 22일, 연구진이 공개한 새로운 프레임워크 Lift4D가 이 문제를 해결했다. 평범한 단안 2D 영상 한 편만 입력하면 피사체의 3차원 외형은 물론 시간에 따른 변형까지 담아낸 온전한 4D 장면을 복원해 낸다.

여기서 4D란 3차원 입체 정보에 시간 흐름을 더한 동적 복원을 뜻한다.

단안 카메라의 사각지대를 메우는 법

코뿔소가 걸어가는 영상을 볼 때 사람은 한쪽 면만 보고도 보이지 않는 반대편 형태와 움직임을 자연스럽게 머릿속으로 그려낸다.

하지만 컴퓨터 비전 분야에서 단일 시점 2D 영상으로 4D를 추론하는 것은 난제 중의 난제였다. 다양한 실세계 4D 학습 데이터가 턱없이 부족하고, 기존 3D 단일 이미지 추정 모델을 프레임별로 단순 적용하면 프레임마다 형태가 심하게 튀기 때문이다.

Lift4D는 인과적 잠재 조건화 기법을 도입해 이 장벽을 넘었다.

이전 프레임의 잠재 정보를 다음 프레임으로 매끄럽게 전달함으로써, 단안 3D 모델이 비디오 전체에 걸쳐 시간적으로 일관된 기하학적 형태를 예측하도록 유도한 것이다.

3D 가우시안과 디퓨전 사전 확률의 결합

이렇게 확보한 연속 프레임 정보를 바탕으로, 희소 제어 노드로 구동되는 변형 가능한 3D 가우시안 스플래팅 표현체를 초기화한다.

실제 촬영 영상에서는 앞다리가 뒷다리를 가리는 등 복잡한 차폐가 빈번하게 발생한다. Lift4D는 깊이 정보를 활용해 가려진 영역을 찾아내고, 보이는 영역과 색상을 조화롭게 맞추는 차폐 인식 렌더링 감독 기술을 적용했다.

카메라에 단 한 번도 포착되지 않은 사각지대는 이미지 디퓨전 모델의 사전 지식을 빌려왔다.

보이지 않는 면까지 그럴듯하고 자연스러운 외형으로 채워 넣음으로써, 360도 어느 각도에서 둘러봐도 어색함이 없는 완전한 입체 동적 메쉬를 완성해 낸다.

왜 중요한가

움직이는 물체를 3D로 정밀하게 담아내려면 수십 대의 카메라를 동원한 멀티뷰 리그나 복잡한 모션 캡처 장비가 필수적이었다.

Lift4D의 방식이 고도화되면 영상 제작자나 게임 개발자가 일상적인 스마트폰 영상 하나만으로도 자유 시점 조작이 가능한 동적 3D 에셋을 손쉽게 뽑아낼 수 있게 된다.

데이터가 부족한 4D 모델을 억지로 처음부터 학습시키는 대신, 기존의 강력한 단일 뷰 3D 추정 모델과 2D 디퓨전 생성 능력을 결합해 테스트 시점 최적화로 풀어낸 접근법은 매우 현실적이고 영리하다.

물론 영상 한 편을 복원할 때마다 상당한 GPU 연산과 렌더링 반복 최적화를 거쳐야 하므로 실시간 생성까지는 갈 길이 남아 있다.

그럼에도 단안 영상의 한계를 극복하고 보이지 않는 면까지 자연스럽게 살려낸 기술적 도약은 충분히 주목할 만한 가치가 있다.