OpenMOSS、11Bのリアルタイム動画理解モデル「MOSS-VL-Realtime」を公開

MOSS-VL-Realtimeは、連続するライブ動画ストリームをリアルタイムに解釈し、ユーザーからの呼びかけに即座に応答できる11Bパラメータのオープンソースマルチモーダルモデルだ。

従来の動画AIの多くは、動画全体を読み込んでから推論を始めるオフライン設計だった。OpenMOSSが公開したこのモデルは発想を根本から変え、送られてくるフレームを逐次受け取りながら、テキスト生成を並行して進める。

何ができるのか

最大の特長は、ストリーミング中の自由な割り込みに対応している点だ。カメラや画面キャプチャの映像が流れている最中、好きなタイミングで質問を投げかけると、その時点までに取得したフレームをもとに即座に回答を返す。

さらに、不必要な発言を抑える機能も備える。画面に目立った変化がない場合や手掛かりが足りないときは、沈黙を示すトークンを出力して静観を続ける。

その後のフレームで新しい状況が判明すると、直前の解釈を自ら更新する柔軟性も持つ。クロスアテンション構造によって視覚エンコードと言語推論を分離し、256Kのコンテキスト長と3次元位置エンコーディング（XRoPE）を組み合わせることで、出来事の時間的な順序や継続時間を正確に捉える。

動かし方

モデルサイズは11Bで、テンソル形式はBF16に対応する。標準では1秒あたり1フレームの頻度で処理し、最大256フレームを保持する仕様となっている。

コードはGitHubで、重みはHugging Face上で公開されている。Python 3.12環境を用意し、transformersやaccelerateを導入した上で、FlashAttention 2を有効にすると高速に推論できる。

APIは2通り用意されている。フレームと質問をメソッド経由で逐次流し込むセッション型と、画面キャプチャと推論処理を別スレッドで分担できるキュー型があり、用途に合わせて選べる仕組みだ。

なぜ重要か

リアルタイムな作業支援アシスタントや配信監視ツールの開発者にとって、すぐに検証する価値がある選択肢だ。11Bという手頃な規模感により、単一のGPU環境でもローカル検証が容易に行える。

情報不足の際に黙る判断や発言の自己修正をモデル自身に担わせた設計は非常に合理的で、外部の複雑な制御ルールを大幅に削れる利点がある。初期設定の1FPSという制約はあるものの、実用的なストリーミングAIの実装基盤として注目に値する。