오픈소스 경량 비디오 모델 'Marlin 2B' 공개: 20억 파라미터로 타임스탬프 추출

수십 분짜리 긴 영상 속에서 원하는 장면 하나를 찾으려고 할 때, 기존 멀티모달 모델들은 종종 기대에 미치지 못했습니다. 영상의 대략적인 줄거리는 잘 요약하지만, 정작 필요한 초 단위 타임스탬프를 물어보면 엉뚱한 답을 내놓기 일쑤였습니다.

AI 연구팀 NemoStation이 공개한 오픈소스 비디오 언어 모델 Marlin 2B는 바로 이 문제를 해결하기 위해 등장했습니다. Qwen 3.5 2B Base 모델을 기반으로 파인튜닝되었으며, Apache 2.0 라이선스를 적용해 일반 개인용 PC에서도 부담 없이 로컬 실행이 가능합니다.

'무슨 일이', '언제 일어났는가'에 집중하다

Marlin 2B의 설계 목표는 명확합니다. 영상에서 구조화된 정보를 정확하게 뽑아내는 일입니다. 사용자가 가장 필요로 하는 두 가지 질문, 즉 화면 속에서 무슨 일이 일어났고 그것이 정확히 언제였는가에 답합니다.

영상을 입력하면 시작 시간과 종료 시간이 붙은 상세한 사건 목록을 자동으로 생성합니다. 예를 들어 '총격전 장면'을 검색어로 입력하면, 해당 사건이 영상 몇 분 몇 초부터 몇 분 몇 초까지 이어지는지 정확한 구간을 짚어냅니다.

영상 편집자의 컷 분류, 보안 카메라 영상 검토, 유해 콘텐츠 검수, 대규모 비디오 데이터셋 라벨링 등 실무 워크플로에 즉시 적용할 수 있는 강력한 기능입니다.

성능 또한 인상적입니다. 텍스트 LLM 심사위원을 배제한 TimeLens-Bench에서 오픈소스 모델 5위에 올랐으며, 종합 평균 지표에서는 본체보다 3.5배 큰 GPT-5를 3.9 mIoU 차이로 앞질렀습니다. 특정 자막 생성 벤치마크에서는 폐쇄형 모델인 Gemini 2.5 Flash 수준의 성과를 보였습니다.

기존 벤치마크의 오류를 밝혀내다

흥미로운 점은 개발진이 모델을 훈련하는 과정에서 기존 벤치마크의 치명적인 결함을 밝혀냈다는 점입니다. CaReBench나 DREAM-1K 같은 표준 평가 지표를 활용하려 했으나 점수가 비정상적으로 깎이는 현상이 발견되었습니다.

원인은 현재 업계가 널리 쓰고 있는 텍스트 기반 심사 방식에 있었습니다. 심사 모델이 실제 영상을 보지 않고, 오직 사람이 적어둔 정답 텍스트와 모델이 출력한 텍스트만을 대조해 점수를 매겼기 때문입니다.

이로 인해 모델이 정답지보다 영상을 더 정확하게 묘사해도 감점을 당하는 촌극이 벌어졌습니다. 영상 속 노란색 캐릭터를 두고 Marlin 2B가 '노란색 인물'이라고 정확히 서술했음에도, 정답 텍스트에 색상 언급이 없다는 이유로 환각으로 분류된 것입니다.

실제 영상 프레임을 확인하는 검증 모델로 감사한 결과, CaReBench 영상의 70.2%, DREAM-1K 항목의 65.8%에서 정답 텍스트 자체에 오류가 있음이 드러났습니다. 옷 소매 길이를 잘못 적거나 자막 오타를 그대로 옮겨 적는 등 심각한 오류가 만연했습니다.

왜 중요한가

Marlin 2B는 20억 파라미터라는 제한된 크기를 가장 실용적인 기능인 '타임스탬프 구간 추출'에 영리하게 집중시킨 결과물입니다.

개인 창작자나 소규모 개발팀에게 실질적인 가치를 제공합니다. 상용 API를 통해 대량의 비디오를 분석하려면 막대한 비용이 들고 보안 문제도 발생하지만, Marlin 2B는 일반 사용자용 GPU나 고성능 노트북의 로컬 환경에서 무료로 안전하게 구동할 수 있습니다.

동시에 이번 공개는 멀티모달 인공지능 평가 체계의 허점을 정면으로 찔렀습니다. 실제 비디오도 보지 않는 텍스트 심사위원과 결함투성이 정답지에 기대어 순위 경쟁을 벌이는 것은 무의미하다는 점을 증명했습니다. 실무에 진짜 필요한 소형 특화 모델이 나아가야 할 방향을 명확히 보여줍니다.