AI2, 영상 이해 특화 오픈소스 VLM '몰모 2' 공개

AI2가 공개한 '몰모 2(Molmo 2)'는 영상 이해와 시공간 포인팅, 객체 추적에 특화된 오픈소스 멀티모달 모델 패밀리입니다. 단일 이미지와 다중 이미지 시퀀스는 물론 다양한 길이의 비디오 클립을 입력받아 객체의 위치 좌표와 타임스탬프를 정밀하게 짚어냅니다.

이번 출시는 세 가지 모델로 나뉩니다. Qwen 3 기반의 '몰모 2 (8B)'는 영상 로컬라이제이션 및 질의응답에서 가장 강력한 메인 모델입니다. 속도와 효율성에 최적화된 '몰모 2 (4B)' 역시 Qwen 3 기반이며, 비전 인코더부터 언어 모델까지 전체 스택의 완전한 통제권을 원하는 연구자를 위해 Olmo 기반의 '몰모 2-O (7B)'도 함께 공개되었습니다.

무엇을 할 수 있는가

기존 비전 언어 모델이 영상의 대략적인 설명에 그쳤다면, 몰모 2는 정확한 위치를 짚어내는 그라운딩이 핵심입니다. 예컨대 로봇이 빨간 블록을 몇 번 잡았는지 물으면 단순 숫자가 아니라 동작이 일어난 정확한 시간대와 위치 좌표를 함께 반환합니다.

물체가 다른 사물에 가려지거나 화면 밖으로 나갔다 들어와도 동일한 ID를 유지하는 다중 객체 추적, 긴 클립에 대한 정밀 캡셔닝, 생성형 비디오의 프레임 왜곡 탐지 등을 지원합니다. 성능 평가에서 8B 모델은 비디오 추적 부문에서 제미나이 3 프로(Gemini 3 Pro)를 큰 격차로 앞질렀으며, 11개 이미지 벤치마크 평균에서도 오픈 모델 1위를 차지하며 이전 세대 72B 초대 몰모를 넘어섰습니다.

구현 방식과 공개 범위

주목할 점은 메타(Meta)의 PerceptionLM이 사용한 7,250만 개의 8분의 1 수준인 919만 개의 영상 데이터만으로 이 같은 성과를 냈다는 점입니다. 사람이 직접 구술한 고밀도 내레이션 기반의 캡션 데이터를 포함해 총 9개의 새로운 데이터셋을 구축해 학습 품질을 대폭 끌어올렸습니다.

구조적으로는 프레임 간 비주얼 토큰이 서로 참조할 수 있는 양방향 어텐션을 적용해 시공간 추론을 강화했습니다. 추론 시에는 초당 최대 2프레임으로 128프레임까지 처리 가능하며, 주요 프레임만 고해상도로 읽는 SlowFast 전략을 지원해 토큰 낭비를 줄였습니다.

AI2는 모델 가중치뿐 아니라 사전 학습, SFT, 긴 문맥 미세조정 스크립트와 데이터 전처리 유틸리티, vLLM 및 transformers 추론 코드까지 전체 저장소를 오픈소스로 공개했습니다.

왜 중요한가

로보틱스, 영상 관제, 비디오 검색 시스템을 구축하는 개발자라면 몰모 2는 지금 당장 테스트해 볼 만한 도구입니다. 대형 상용 API에 의존해야 했던 고성능 영상 추적 기능을 로컬 단일 GPU 환경에서도 가볍게 돌릴 수 있는 4B~8B 크기로 구현해 냈기 때문입니다.

데이터 양을 무작정 늘리는 대신 고품질 캡션과 명시적 위치 지정 학습에 집중한 AI2의 전략은 매우 영리해 보입니다. 초장문 비디오 이해에서는 대형 독점 모델과의 격차가 여전히 존재하지만, 완벽한 재현성과 배포 자유도를 보장하는 오픈 비디오 AI 환경에서 강력한 표준이 될 것으로 평가합니다.