끊기는 2D 영상으로 매끄러운 전신 4D 애니메이션 만드는 'Retime GS'

일반 스마트폰으로 찍은 인물 영상을 자유 시점의 3D 모델로 바꾸려 할 때 가장 큰 걸림돌은 프레임 끊김입니다. 중간 프레임이 누락되면 기존 AI 기술들은 결과물을 심하게 떨리게 만들거나 유령 같은 잔상을 남기기 일쑤였습니다.

공개된 AI 기술 'Retime GS'는 이 문제를 정면으로 다룹니다. 일반 2D 영상 프레임만 입력하면 전신을 어떤 각도에서든 둘러볼 수 있는 매끄러운 4D 애니메이션으로 복원해 냅니다.

끊김을 메우는 '연속 시간' 표현 기술

deform, gaussian flow, stgs, 2D lift 같은 기존 4D 생성 기법들은 프레임 사이에 공백이 생기면 노이즈와 왜곡이 심해져 결과물이 부자연스러웠습니다.

Retime GS는 '연속 시간 3D 표현' 방식을 도입해 이를 극복했습니다. 특정 순간의 형태뿐 아니라 장면이 시간에 따라 어떻게 흐르는지 자체를 학습한 뒤, 모션 트래킹과 옵티컬 플로우, 개선된 4D 가우시안 스플래팅을 결합해 비어 있는 동작을 자연스럽게 채워 넣습니다.

왜 중요한가

Retime GS의 강점은 값비싼 다중 카메라 장비 대신 일상의 불완전한 단안 영상을 그대로 지원한다는 데 있습니다.

게임 개발자나 3D 그래픽 아티스트 입장에서는 프레임 수가 낮고 끊기는 영상 소스도 재활용 가능한 4D 에셋으로 바꿀 수 있는 길이 열린 셈입니다. 정적 공간 복원을 넘어 움직이는 전신 인체까지 매끄럽게 처리하는 가우시안 스플래팅 기술의 실용화 흐름을 잘 보여줍니다.