CubeComposer: 일반 단안 영상을 360도 파노라마로 확장, 4K 지원
연구진이 일반 카메라로 찍은 단안 영상을 360도 파노라마 영상으로 변환하고 4K 업스케일링을 지원하는 CubeComposer를 오픈소스로 공개했습니다. 확산 모델로 구체의 6면을 나누고 희소 어텐션으로 카메라 뒤쪽 풍경을 채워 넣으며, Argus 같은 경쟁 모델보다 뛰어난 품질을 보여주지만 아직 일부 왜곡은 남아 있습니다.
CubeComposer는 일반 단일 카메라로 촬영한 평면 영상을 360도 전체 파노라마 영상으로 변환해 주는 오픈소스 영상 모델입니다. 4K 화질 개선 기능도 함께 지원합니다.
보이지 않는 사각지대를 채우는 방법
이 모델은 확산 모델을 기반으로 구체 공간을 입방체의 6개 면으로 분할하여 처리합니다. 각 시점 사이의 전환을 자연스럽게 이어붙이기 위해 희소 어텐션 기반의 컨텍스트 풀을 구축하고, 앞뒤 프레임과 인접한 면을 동시에 참조하도록 설계했습니다.
덕분에 렌즈 뒤편에 가려져 있던 미촬영 배경까지 매끄럽게 상상해 채워 넣습니다. 생성된 배경 부분에 아직 약간의 왜곡이 관찰되기는 하지만, 전반적인 품질은 기존 Argus 같은 경쟁 모델보다 눈에 띄게 뛰어납니다. 세부 내용은 프로젝트 공식 페이지(lg-li.github.io/project/cubec)에서 확인할 수 있습니다.
왜 중요한가
VR 및 공간 비디오 콘텐츠를 제작하는 창작자라면 전용 360도 카메라 없이도 기존의 방대한 단안 영상을 파노라마 에셋으로 재활용할 수 있습니다. Argus보다 뛰어난 품질을 보여주지만 뒤쪽 생성 영역의 미세한 왜곡은 여전히 남아 있어, 현재로서는 배경 확장이나 콘셉트 프로토타입 작업에 먼저 시험해 보기에 적합합니다.
출처 (2)
- lg-li.github.io(새 탭에서 열림)원문lg-li.github.io
- @aisearchio(새 탭에서 열림)토론x.com