動画セグメンテーションモデル「VidEoMT」：通常のViTで最大160FPSの高速追跡を実現

VidEoMTは、専用の追跡モジュールを完全に省き、標準的なVision Transformer（ViT）だけで動画内の物体分割と追跡を行う軽量なエンコーダ専用モデルです。

羊の群れや歩行者、シマウマなど、動きが速く背景が入り組んだ動画でも、フレームごとに狙った対象を正確に切り分けて追跡できます。ViT-Lバックボーンを用いた場合、従来の一般的なオンライン動画セグメンテーション手法と比べて5〜10倍高速な最大160 FPSを記録し、高い精度を維持したままリアルタイム処理を実現しています。

どうやって実現したのか

従来のオンライン動画セグメンテーションは、フレーム単位の画像セグメンテーション器に専用の追跡モジュールを組み合わせる構成が主流でした。しかし、この構造はモデルを複雑にし、大きな計算負荷を生む要因になっていました。

VidEoMTの開発チームは、十分に事前学習された通常のViTエンコーダ自体が高いセグメンテーション能力を持っている点に着目しました。余分な追跡ネットワークを付け足す代わりに、軽量な「クエリ伝播」機構を採用しています。

仕組みは極めてシンプルです。前のフレームで使ったクエリを次のフレームに引き継ぐことで、時間的なつながりを持たせて対象を追跡します。さらに、新しい物体の出現に対応するため、引き継いだクエリと時間情報に依存しない学習済みクエリを融合させる工夫を入れました。これにより、計算コストをほとんど増やすことなく、専用トラッカーと同等の性能を引き出しています。

試し方

研究チームは論文とともにコードを公開しており、ローカル環境で動かすための手順も用意されています。開発者はViT-Lモデルを使った推論や検証をすぐに手元で再現できます。

なぜ重要か

ロボットビジョン、自動運転、リアルタイム動画編集などを手掛ける開発者にとって、VidEoMTは非常に魅力的な選択肢です。これまで高精度な動画追跡は計算負荷が高く、リアルタイム動作の壁に突き当たりがちでしたが、最大160 FPSという処理速度はその制約を一気に押し広げます。

不要なモジュールを削ぎ落とし、基礎的なViTの潜在能力をクエリの工夫だけで引き出したアプローチは極めて実用的であり、今後の軽量ビジョンモデル設計における優れた指針になると言えます。