비디오 누끼 AI 'MatAnyone' 공개: 3GB VRAM으로 4K 실시간 분리 지원

영상 편집자에게 피사체 분리 작업은 늘 가장 까다로운 노동입니다. 흩날리는 머리카락이나 반투명한 천, 유리잔 같은 세밀한 가장자리는 기존 크로마키나 마스크 툴로 따내기 극히 어렵고, 고성능 AI 모델을 돌리자니 그래픽카드 메모리가 순식간에 바닥나기 일쑤였습니다.

연구진은 새로운 비디오 매팅 모델 'MatAnyone'(논문명 MatAnyone-E)을 발표했습니다. 머리카락 한 올과 반투명한 외곽선까지 정밀하게 분리해 내면서도, 단 약 3GB의 VRAM만으로 동작하며 단일 H200 GPU에서 4K 실시간 처리를 구현했습니다.

어려운 영역만 골라 고해상도 연산

자연스러운 비디오 매팅을 만들려면 프레임 간 깜빡임을 없애기 위해 이전 프레임의 특징을 저장해 두고 대조하는 '메모리 기반' 방식이 필수적입니다. 하지만 4K 해상도로 넘어가면 이 비교 연산과 메모리 사용량이 감당할 수 없을 만큼 폭증합니다.

MatAnyone-E는 연산을 똑똑하게 아끼는 방식을 택했습니다. 우선 영상을 저해상도로 훑어보며 미세한 머리카락이나 흐릿한 경계처럼 처리가 까다로운 '불확실 영역'과 그에 필요한 메모리 후보를 먼저 찾아냅니다.

그다음 이 골치 아픈 특정 영역에만 고해상도 정밀 매칭을 수행하고, 단순한 영역은 저해상도 결과를 그대로 재사용합니다. 여기에 병목 현상을 줄인 경량 디코더까지 더해, 이전 MatAnyone 2와 대등한 분리 품질을 유지하면서도 추론 속도를 약 7.4배 끌어올렸고 4K 기준 최대 VRAM 사용량을 7.6% 수준으로 대폭 낮췄습니다.

소비자용 GPU에서도 쾌속 동작, ComfyUI 지원 예정

실측 성능 수치도 인상적입니다. 추론 컴파일을 활성화한 단일 NVIDIA H200 환경에서 1080p 해상도는 73.07 FPS, 4K 해상도에서도 28.62 FPS를 기록하며 완벽한 실시간 처리 영역에 진입했습니다.

무엇보다 약 3GB 수준의 VRAM 요구치는 일반 창작자의 작업 환경을 완전히 바꿔놓을 수 있습니다. 고가의 데이터센터용 카드가 없어도 개인 PC의 일반 소비자용 그래픽카드에서 복수 인물이 등장하는 복잡한 장면을 깔끔하게 분리할 수 있습니다.

연구팀은 프로젝트 페이지를 통해 학습 코드와 모델 가중치를 순차적으로 공개할 예정이며, 로컬 워크플로 사용자를 위한 ComfyUI 커스텀 노드도 준비 중이라고 밝혔습니다.

왜 중요한가

MatAnyone의 진정한 가치는 단순히 누끼를 잘 따는 데 그치지 않고, 거대한 연산 자원이 들던 정밀 영상 분리 작업을 일반 장비의 영역으로 끌어내렸다는 점에 있습니다.

지금까지 머리카락 수준의 고품질 비디오 매팅은 장시간 렌더링을 감수하거나 클라우드 서버 비용을 치러야만 가능한 일이었습니다. 4K 실시간 연산을 3GB VRAM 규격 안으로 압축하면서, 1인 크리에이터의 합성 편집은 물론 버추얼 스트리밍의 실시간 배경 전환, 저비용 영상 자동화 제작의 진입 장벽이 단숨에 무너졌습니다. 향후 ComfyUI 노드가 풀리면 커뮤니티 활용도는 폭발적으로 늘어날 것입니다.

기술적으로도 모든 픽셀을 전수 조사하는 대신 어려운 지점만 선별해 집중 타격하는 희소 연산 방식은 고해상도 비디오 모델 전반에 훌륭한 해법을 제시합니다. 다만 현재는 데모와 논문 발표 단계인 만큼, 급격한 카메라 흔들림이나 극단적인 조명 변화 속에서도 일관성을 유지할지는 오픈소스 공개 후 실전 검증을 지켜볼 필요가 있습니다.