MetaがSAM 3.1を公開：128物体の追跡を約7倍高速化

SAM 3.1は、Metaが公開した画像および動画のセグメンテーションモデルです。テキストによるプロンプトや、点、バウンディングボックス、マスクなどの視覚的な指示をもとに、被写体の検出、分割、追跡をこなします。

どのような仕組みで高速化したか

SAM 3は従来のベンチマークと比べて50倍以上のオープンボキャブラリ概念に対応していました。今回のSAM 3.1では、マルチオブジェクト追跡を効率化する共有メモリ技術「Object Multiplex」が導入されています。

単一のH100 GPU環境で128個の対象を同時に追跡させた場合、精度を落とすことなく推論速度が約7倍に向上しました。また、7つある動画オブジェクトセグメンテーション（VOS）ベンチマークのうち、6つでスコアが改善しています。

モデルの重みファイルはHugging Face上で公開されており、Metaのプライバシーポリシーに同意することで利用申請が可能です。ただし、本リポジトリはチェックポイントのみの提供となっており、Transformersライブラリには統合されていません。導入手順や実行コードはGitHubのSAM 3リポジトリを参照する必要があります。

なぜ重要か

監視カメラ映像やスポーツ解析など、1画面に無数の対象が映るシーンを扱う開発者にとって、多数の追跡処理は常に計算リソースとの戦いでした。

メモリ共有によって1枚のGPUで128オブジェクトを高速処理できるようになった点は実用的で、密度の高い動画アノテーションや追跡パイプラインの運用コストを大きく下げてくれるはずです。