허깅페이스, 초경량 비디오 이해 모델 SmolVLM2 공개…최소 256M

SmolVLM2는 허깅페이스가 개발한 초경량 멀티모달 모델 패밀리로, 저사양 기기에서도 비디오와 다중 이미지를 이해할 수 있도록 설계되었습니다.

모델은 2.2B, 500M, 256M 세 가지 크기로 제공됩니다. 대규모 클라우드 서버 없이도 일반 맥, 아이폰, 심지어 무료 구글 코랩 환경에서 로컬로 구동됩니다.

무엇을 할 수 있나

핵심 모델인 2.2B는 이미지 내 텍스트 인식, 도표 분석, 과학 문제 풀이 성능이 개선되었습니다. 900개 영상과 254시간 분량을 평가하는 표준 벤치마크 Video-MME에서 기존 모든 2B급 모델을 앞섰습니다.

가장 눈에 띄는 것은 500M 모델입니다. 멀티모달 연구 프로젝트인 Apollo의 데이터 혼합 방식을 적용해 4분의 1도 안 되는 파라미터로 2.2B에 근접하는 비디오 이해력을 보여줍니다.

256M 모델은 오픈소스로 공개된 비디오 지원 모델 중 가장 작은 크기로, 경량화 한계를 시험하는 실험적 버전입니다.

기능적으로는 여러 장의 이미지를 동시에 비교 분석할 수 있으며, 1시간이 넘는 긴 영상에서 중요한 장면만 추려내는 하이라이트 생성도 지원합니다.

로컬에서 실행하는 법

SmolVLM2는 출시와 동시에 허깅페이스 Transformers 및 애플 MLX 생태계를 공식 지원합니다.

파이썬 환경에서는 Transformers 라이브러리를 통해 비디오 경로나 이미지 URL을 입력 템플릿에 넣어 손쉽게 대화형 추론을 수행할 수 있습니다.

애플 실리콘 기기에서는 mlx-vlm 패키지나 Swift API를 이용할 수 있습니다. 맥 터미널에서 명령어 한 줄로 양자화되지 않은 500M 모델을 구동할 수 있습니다.

허깅페이스는 인터넷 연결 없이 아이폰에서 직접 영상을 분석하는 온디바이스 앱과 자연어로 영상을 탐색하는 VLC 미디어 플레이어 연동 데모를 선보였습니다.

모델 가중치는 허깅페이스 허브에서 내려받을 수 있으며, 500M 모델을 코랩에서 전체 파인튜닝할 수 있는 예제도 함께 공개되었습니다.

왜 중요한가

우리는 SmolVLM2가 비디오 이해 인공지능의 진입 장벽을 기기 단위로 낮췄다는 점에 주목합니다. 과거에는 막대한 그래픽 메모리가 필요했던 비디오 분석을 500M 크기로 압축하면서, 스마트폰 앨범 검색이나 로컬 미디어 분류 작업을 백그라운드에서 상시 구동할 수 있는 길이 열렸습니다.

모바일이나 엣지 컴퓨팅을 다루는 개발자라면 지금 바로 MLX 구현체를 테스트해 볼 만합니다. 다만 파라미터가 극도로 작기 때문에 복잡한 인과관계를 추론하는 데는 한계가 있으므로, 범용 모델보다는 특정 작업을 빠르게 처리하는 경량 센서로 활용하는 접근이 적합합니다.