동영상 분할 모델 VidEoMT: 일반 ViT로 최대 160 FPS 객체 추적 구현

VidEoMT는 복잡한 전용 추적 모듈을 완전히 걷어내고, 표준 Vision Transformer(ViT)만으로 동영상 내 객체 분할과 추적을 수행하는 인코더 전용(encoder-only) 모델입니다.

복잡한 배경이나 빠르게 움직이는 양 떼, 사람, 얼룩말 같은 대상을 프레임마다 정확하게 분할해 추적할 수 있습니다. ViT-L 백본을 사용할 경우 기존의 여러 온라인 동영상 분할 방식보다 5~10배 빠른 최대 160 FPS의 속도를 기록하면서도 경쟁력 있는 정확도를 유지합니다.

어떻게 구현했나

기존의 온라인 동영상 분할 모델은 프레임별 이미지 분할기에 별도의 복잡한 추적 모듈을 이어 붙여 사용하는 것이 일반적이었습니다. 이 방식은 효과적이지만 아키텍처가 비대해지고 연산 비용이 크게 늘어나는 문제가 있었습니다.

VidEoMT 연구진은 충분히 사전 학습된 일반 ViT 인코더 자체가 이미 강력한 분할 능력을 갖추고 있다는 점에 주목했습니다. 이에 따라 별도의 추적기를 추가하는 대신 가벼운 쿼리 전파(query propagation) 방식을 도입했습니다.

원리는 직관적입니다. 이전 프레임의 쿼리를 다음 프레임으로 넘겨 재사용함으로써 시간 흐름에 따른 연속 추적을 처리합니다. 여기에 새로운 객체의 등장에 유연하게 대응할 수 있도록, 전달받은 이전 쿼리를 시점과 무관한 학습 쿼리와 결합하는 쿼리 융합 전략을 더했습니다. 무거운 모듈을 추가하지 않고도 전용 추적기를 둔 것과 같은 효과를 낸 셈입니다.

직접 써보기

논문과 함께 공식 코드가 공개되었으며, 로컬 환경에서 모델을 실행해 볼 수 있는 방법도 안내되어 있습니다. 개발자는 공개된 코드를 활용해 ViT-L 기반으로 직접 비디오 분할 추적 성능을 시험해 볼 수 있습니다.

왜 중요한가

실시간 영상 분석, 자율주행, 영상 편집 파이프라인을 다루는 개발자에게 VidEoMT는 실질적인 가치를 제공합니다. 정교한 동영상 객체 분할은 하드웨어 부담이 커서 현장 배포가 까다로웠으나, 최대 160 FPS에 달하는 처리 속도는 엣지 환경에서도 여유로운 연산 마진을 만들어 줍니다.

모델 바깥에 무거운 추적 구조를 덧붙이지 않고, 기본 비전 인코더의 특성을 영리한 쿼리 재사용으로 끌어올린 점은 향후 실시간 비디오 모델 경량화 연구에도 훌륭한 참고 사례가 될 것으로 보입니다.