반사와 그림자까지 지우는 영상 객체 제거 도구 'Omnimat Zero' 오픈소스 공개
영상 속 물체뿐만 아니라 바닥 그림자와 반사까지 한 번에 제거해 주는 영상 편집 도구 'Omnimat Zero'의 코드가 공개됐다. 복잡한 장애물을 보존하며 특정 객체만 지우거나 전경을 투명 레이어로 분리할 수 있다.
영상 편집에서 특정 피사체를 지우는 작업이 까다로운 진짜 이유는 물체 자체가 아니라 바닥에 길게 늘어진 그림자와 물웅덩이에 비친 반사 때문입니다. 피사체만 대충 지우면 공중에 뜬 그림자가 남아 화면을 망치기 일쑤입니다.
오픈소스로 공개된 'Omnimat Zero'는 바로 이 골치 아픈 문제를 정조준한 영상 제거 도구입니다. 화면 속 대상을 지우는 동시에 그 대상이 만들어낸 그림자와 반사까지 한 번에 자연스럽게 지워냅니다.
물웅덩이 반사부터 테이블 잔상까지 추적
공개된 시연을 보면 주변 환경에 대한 인식 수준이 꽤 높습니다. 고양이를 지우도록 지정하면 고양이 본체뿐만 아니라 웅덩이에 비친 반사까지 정확히 찾아내 제거합니다. 물 위의 백조나 뛰어가는 강아지들의 그림자, 사람의 바닥 그림자도 마찬가지로 말끔히 지웁니다.
아주 미세한 영역에서도 강점을 보입니다. 디지털시계의 쌍점(:)만 지웠을 때 테이블 표면에 비친 쌍점 반사까지 함께 사라졌습니다. 전경에 세워진 기둥은 남겨두고 배경의 사람만 지우는 까다로운 조건에서도 다른 도구들은 기둥까지 함께 깎아먹었지만, Omnimat Zero는 기둥을 온전히 보존했습니다.
삭제 기능 외에도 대상을 투명 레이어로 분리해 새 배경에 합성할 수 있는 기능도 지원합니다. 전체 코드와 로컬 실행 방법은 이미 GitHub에 공개되어 있습니다.
왜 중요한가
영상 편집자에게 반사와 그림자를 프레임마다 트래킹하고 마스크를 따는 작업은 엄청난 시간 낭비였습니다. 조명과 반사 효과를 맥락적으로 이해하고 함께 지워주는 도구가 오픈소스로 풀렸다는 점만으로도 작업 효율을 크게 끌어올릴 수 있습니다.
다만 전경을 떼어내 새 배경에 얹는 합성 결과물은 아직 경계면이 다소 어색하고 거칠다는 평가가 있습니다. 지금 당장 올인원 합성 툴로 쓰기보다는, 까다로운 잔상과 그림자를 말끔히 털어내는 '고정밀 전처리 제거 도구'로 활용하는 편이 훨씬 현실적이라고 봅니다.
출처 (3)
- arxiv.org(새 탭에서 열림)원문arxiv.org
- dvirsamuel.github.io(새 탭에서 열림)보도dvirsamuel.github.io
- github.com(새 탭에서 열림)보도github.com