연구진, 비디오 누끼 따기 프레임워크 MatAnyone 공개: 첫 프레임 클릭만으로 정밀 분리

영상 편집에서 움직이는 인물의 누끼를 따본 사람이라면 누구나 공감할 겁니다. 머리카락 경계선이 프레임마다 거칠게 깜빡이거나, 배경이 조금만 복잡해져도 옷자락이 배경 속으로 사라져 버리는 현상 말입니다.

추가 입력 없이 프레임만 보고 인물을 분리해 내는 기존의 자동 비디오 매팅 기술은 조명이 바뀌거나 복잡한 배경을 만나면 쉽게 무너지곤 했습니다. 난양공과대학교 연구진 등이 주도하여 CVPR 2025에 채택된 신규 연구 MatAnyone은 바로 이 까다로운 안정성 문제를 해결하기 위해 등장했습니다.

첫 프레임 클릭 한 번으로 끝나는 비디오 누끼

MatAnyone은 사용자가 첫 프레임에서 대상을 지정해 주는 인터랙티브 방식을 취합니다. 최신 세그멘테이션 도구를 활용해 첫 화면에서 추출하고 싶은 인물을 마우스로 몇 번 콕 집어주기만 하면 됩니다.

이렇게 첫 프레임의 마스크가 주어지면 모델이 이를 바탕으로 고품질 알파 매트를 예측하고, 이후 프레임들에 걸쳐 정밀한 추출을 이어갑니다.

추적의 핵심은 영역 적응형 메모리 융합을 통한 일관된 메모리 전파 모듈입니다. 이전 프레임에서 축적된 시각 기억을 현재 프레임에 유연하게 결합하는 방식입니다.

이 모듈은 인물의 몸체 같은 핵심 영역에서는 의미 정보를 꽉 붙잡아 대상이 뜯겨 나가지 않게 보호하고, 외곽 경계선에서는 흩날리는 머리카락 같은 미세한 질감을 세밀하게 보존합니다. 추론 과정에서 재학습 없이도 반복 정제 과정을 거칠 수 있어, 정지 이미지 전용 매팅에 버금가는 깔끔한 품질을 뽑아냅니다.

분할 데이터와 매팅 데이터의 영리한 결합

비디오 매팅 분야의 고질적인 문제는 픽셀 단위로 머리카락 투명도까지 완벽하게 라벨링된 실제 영상 데이터가 턱없이 부족하다는 점이었습니다.

MatAnyone 연구팀은 데이터를 다루는 전략을 영리하게 틀었습니다. 대규모 객체 분할 데이터를 활용해 인물을 놓치지 않는 의미적 안정성을 확보하고, 정밀 매팅 데이터를 통해서는 가장자리 디테일만을 집중 훈련시키는 이원화 전략을 택한 것입니다.

각각에 맞춤 설계된 손실 함수를 적용함으로써, 희소한 매팅 데이터의 한계를 극복하고 실제 복잡한 환경에서도 흔들리지 않는 완성도를 달성했습니다.

왜 중요한가

영상 제작자나 1인 크리에이터에게 이 기술은 사실상 그린스크린의 족쇄를 풀어주는 열쇠가 될 수 있습니다. 번화가나 야외 현장에서 촬영한 영상이라도 첫 화면에서 대상만 지정해 주면 고가의 합성용 알파 채널을 손쉽게 얻을 수 있기 때문입니다.

우리가 보기에 이 연구의 가장 똑똑한 지점은 데이터의 분리 훈련 방식입니다. 모든 것을 단일 매팅 모델로 밀어붙이려 하지 않고, 풍부한 기존 이미지 분할 자원을 메모리 구조와 엮어 효율적으로 흡수했습니다.

다만 피사체가 기둥 뒤로 완전히 숨었다가 다시 나타나는 상황이나 극심한 모션 블러가 발생했을 때, 메모리 사슬이 끊기지 않고 대상을 다시 복원할 수 있을지는 여전히 지켜볼 필요가 있습니다. 그럼에도 수작업 로토스코핑의 피로도를 획기적으로 낮출 수 있는 매우 실용적인 진전임은 분명합니다.