AI2が「Molmo 2」をOSS公開：8Bモデルが動画追跡で大手超え

AI2が公開した「Molmo 2」は、動画の理解、指定（ポインティング）、および物体追跡に特化したオープンソースのマルチモーダルモデル群です。単一画像、複数画像、任意の長さの動画クリップを入力として受け取り、対象の空間座標やタイムスタンプを特定できます。

ラインナップは用途に合わせた3種類です。Qwen 3ベースの「Molmo 2 (8B)」は動画のグラウンディングとQAにおいて最高の総合性能を発揮します。同じくQwen 3ベースの「Molmo 2 (4B)」は処理効率を最優先したモデルです。完全なオープン性にこだわる研究者向けには、Olmoをベースにした「Molmo 2-O (7B)」が用意されており、言語モデルを含む全コンポーネントを完全に制御可能です。

何ができるのか

従来のVLMは大まかな内容要約にとどまりがちでしたが、Molmo 2は時空間での位置特定を標準でこなします。例えば「ロボットが赤いブロックを何回掴んだか」と尋ねると、単に回数を答えるだけでなく、各動作が発生したタイムスタンプと画面上の位置座標を返します。

障害物に遮られたり画面外に出て再登場したりした物体に対しても同一IDを保持して追跡できるほか、動画内の字幕と視覚情報を組み合わせたQAや、生成AI動画の不自然な歪みや光の破綻を検出することも可能です。ベンチマークでは、8BモデルがGemini 3 Proなどの大手モデルを動画追跡で大きく上回ったほか、前世代の72Bモデルである初代Molmoを画像ポインティングテストで凌駕しています。

仕組みと公開範囲

高い性能の一方で、学習に使用した動画データはわずか919万本にとどまります。これはMetaのPerceptionLMが用いた7250万本の8分の1未満です。AI2は人間によるナレーションをベースにした高密度キャプションなど、9つの新規データセットを構築してデータの質を高めました。

アーキテクチャ面では、視覚トークン同士がフレームをまたいで相互に注意を向ける双方向アテンションを採用。推論時には秒間最大2フレームで最大128フレームを処理できるほか、重要フレームのみを高解像度で扱うSlowFast方式にも対応し、計算リソースを節約します。

AI2はモデルの重みだけでなく、事前学習、SFT、長文SFT用のスクリプト、データ前処理ツール、transformersおよびvLLMによる推論コードを含むフルスタックをGitHub等で公開しています。

なぜ重要か

ロボット工学、監視映像解析、動画検索などを手がける開発者にとって、Molmo 2は今すぐ試す価値がある選択肢です。これまで巨大な商用APIでしか扱えなかった高精度の時空間追跡が、単一GPUで稼働する4B〜8Bクラスのサイズ感で手に入るようになりました。

動画データをむやみに増やすのではなく、質の高い密なキャプションと明示的なポインティング学習を重視したAI2のアプローチは極めて合理的です。長時間の動画読解では巨大な商用モデルに譲る部分もありますが、手元で動かせる実用的な動画認識モデルとして、オープンソースコミュニティにおける新たな基準になるはずです。