軽量動画VLM「Marlin 2B」公開：20億パラメータで動画内の出来事と時刻を特定

長尺動画の中から特定のシーンを探し出す作業は、これまで多くのクリエイターやエンジニアを悩ませてきました。多くのマルチモーダルAIは大まかな要約こそ得意ですが、具体的な秒単位のタイムスタンプとなると途端に精度を落とします。

開発チームのNemoStationは、動画イベントの特定に特化したオープンソースの軽量モデル「Marlin 2B」を公開しました。Qwen 3.5 2B Baseをもとに微調整された20億パラメータの小型VLMで、Apache 2.0ライセンスのもと、ローカルPC上で手軽に動作します。

「何が」「いつ起きたか」を構造化

Marlin 2Bの狙いは明快です。動画から構造化データを正確に抽出することに絞られています。モデルが答えるのは、「何が起きたのか」、そして「それはいつ起きたのか」という2つの問いです。

動画を入力すれば、開始時刻と終了時刻が明記された詳細なイベントリストを自動生成できます。また、「銃撃戦が起きた場面」のように探したいイベントを入力すると、該当する区間のタイムスタンプをピンポイントで返してくれます。

この機能は、動画編集での素材探し、防犯カメラの確認、コンテンツモデレーション、さらには機械学習用データセットのアノテーションなど、実務の現場で直ちに役立ちます。

ベンチマークでの実力も侮れません。LLMジャッジに依存しない「TimeLens-Bench」において、Marlin 2Bはオープンソースモデル中5位を記録しました。総合平均では自らの約3.5倍のサイズがあるGPT-5を3.9 mIoU上回り、一部の字幕生成テストではプロプライエタリなGemini 2.5 Flashに迫るスコアを叩き出しています。

既存ベンチマークの深刻な欠陥を告発

開発過程でチームが直面した最大の障壁は、モデルの性能ではなく、業界に流通している評価ベンチマークそのものの不備でした。

一般的に使われているCaReBenchやDREAM-1Kといった評価データセットは、テキスト専用のジャッジを採用しています。つまり、判定役のAIは実際の動画を一切見ず、正解データ（GT）のテキストと候補文のテキストだけを見比べて正誤を判定していました。

その結果、モデルが正解データ以上に詳細かつ正確な描写をすると、かえって減点される逆転現象が起きていました。黄色い人型キャラが映っている映像で、Marlin 2Bが正しく「黄色」と言及したにもかかわらず、正解文に色の記述がなかったために幻覚扱いされるといった具合です。

チームが動画フレームを読み込めるマルチモーダルAIで監査したところ、CaReBenchの70.2%、DREAM-1Kの65.8%の正解データ自体に事実誤認が見つかりました。看板の誤読や、映ってもいない動作を正解と記録している例が頻発していたのです。

なぜ重要か

Marlin 2Bの最大の賢さは、巨大な汎用モデルを目指すのではなく、20億パラメータという軽量な枠組みを「タイムスタンプ付きのイベント特定」という実用領域に全振りした点にあります。

一般の開発者や動画クリエイターにとって、この恩恵は絶大です。商用APIを利用して大量の動画を解析すると膨大なコストがかかり、長尺動画のコンテキスト制限にも直面します。2BサイズのMarlinなら、一般的なノートPCや手元のGPUで完全にローカル稼働でき、プライバシーを守りながら無料で高速に動画をインデックス化できます。

業界全体にとっても、動画を見ないテキストジャッジでベンチマークを競う不健全な風潮に一石を投じる結果となりました。真に役立つ実用モデルを作るには、スコアの数字を追いかける前に、足元の評価基盤を動画視点で正す必要があることを証明しています。