영상 누끼 모델 VideoMaMa: 거친 마스크를 픽셀 단위 매트로 변환

VideoMaMa는 대충 따낸 거친 객체 마스크를 입력받아 픽셀 단위로 정밀한 알파 매트(alpha matte)로 변환해 주는 영상 매팅 전문 모델이다.

영상 후반 작업이나 크로마키 합성에서 흩날리는 머리카락이나 반투명한 물체의 경계면을 따내는 작업은 늘 많은 시간과 노력이 드는 골칫거리였다. 기존 세그멘테이션 모델은 가장자리가 뭉개지기 십상이었는데, VideoMaMa는 대략적인 마스크만 던져주면 세밀한 투명도 정보를 알아서 채워 넣는다.

작동 원리

Video Mask-to-Matte Model의 줄임말인 VideoMaMa는 사전 학습된 비디오 확산 모델이 지닌 생성적 사전지식(generative prior)을 활용한다.

실제 영상에서 픽셀 단위의 매팅 정답 데이터를 일일이 수집하는 것은 거의 불가능에 가깝다. 연구팀은 이 난제를 풀기 위해 VideoMaMa를 오직 합성 데이터로만 학습시키는 영리한 방식을 택했다.

합성 데이터로만 배웠음에도 불구하고, 영상 확산 모델이 기본적으로 알고 있는 움직임과 질감에 대한 이해도 덕분에 실제 촬영된 영상에서도 뛰어난 제로샷 일반화 성능을 보여준다.

5만 편 규모의 데이터셋과 SAM2-Matte

연구팀은 VideoMaMa의 성능을 바탕으로 대규모 영상 매팅을 위한 자동 의사 레이블링(pseudo-labeling) 파이프라인을 구축했다.

이를 통해 다양한 환경과 움직임을 담은 5만 개 이상의 실제 비디오로 구성된 고품질 매팅 데이터셋 MA-V(Matting Anything in Video)를 만들어냈다.

데이터셋의 실효성을 입증하기 위해 메타의 SAM2 모델을 MA-V로 미세조정해 SAM2-Matte를 제작했다. 복잡한 야외 영상 테스트 결과, SAM2-Matte는 기존 매팅 데이터셋으로 학습된 모델들보다 훨씬 뛰어난 안정성을 보여주었다. 연구팀은 프로젝트 페이지를 통해 모든 모델과 MA-V 데이터셋을 오픈소스로 공개할 예정이라고 밝혔다.

왜 중요한가

영상 편집자와 VFX 아티스트 입장에서는 수작업 누끼 따기(로토스코핑)에 쏟아붓던 시간을 획기적으로 줄여줄 강력한 도구가 생기는 셈이다. 대략적인 영역만 지정해 주면 스튜디오 품질의 알파 채널이 바로 나오기 때문이다.

생성형 확산 모델을 단순히 새 영상을 그리는 용도가 아니라 고정밀 데이터 정제와 후처리 도구로 활용한 접근법이 돋보인다. 모델과 5만 편 규모의 데이터셋이 공식 릴리즈되면 오픈소스 영상 편집 생태계 전반의 작업 방식을 크게 바꿔놓을 것으로 보인다.