動画切り抜きモデルVideoMaMa：粗いマスクを高精度なアルファマットに変換

VideoMaMaは、大雑把な輪郭マスクを入力するだけで、髪の毛の1本単位まで再現した画素精度のアルファマット（透過情報）を出力できる動画マット処理モデルだ。

動画の切り抜きやグリーンバック合成において、動く被写体の毛先や半透明の境界線を綺麗に抽出するのは最も手間のかかる作業の一つだった。一般的なセグメンテーションモデルでは境界が荒くなりがちだが、VideoMaMaはそうした粗いマスクを自然で高精度なマットへと一気に引き上げてくれる。

その仕組み

VideoMaMa（Video Mask-to-Matte Model）の最大の特徴は、事前学習済みの動画拡散モデルが持つ生成的な事前知識（ジェネレーティブ・プライア）をマット処理に活用した点にある。

実写動画の精密なマットを手作業でアノテーションするのはコストが高すぎるため、実環境で使えるデータは長年不足していた。研究チームはこの課題に対し、VideoMaMaの学習をすべて合成データのみで完結させる手法をとった。

合成データだけで学習されたにもかかわらず、動画拡散モデル本来の物理理解や動きの把握能力を借りることで、現実世界の雑多な撮影素材に対しても強力なゼロショット汎化性能を発揮する。

5万本のデータセットとSAM2-Matte

研究チームはVideoMaMaの精度を活かし、大規模な疑似ラベル自動生成パイプラインを構築した。

これによって生まれたのが、5万本を超える実写動画を含む高品質マットデータセット「MA-V（Matting Anything in Video）」だ。多様なシーンと激しいカメラワークを網羅した、前例のない規模となっている。

さらに、このMA-Vデータセットを使ってSAM2を追加学習させた派生モデル「SAM2-Matte」も作成された。実写動画を用いたテストでは、従来のデータセットで学習したモデルをロバスト性の面で大きく上回ったという。プロジェクトページでは、すべてのモデルとMA-Vデータセットをオープンソースとして一般公開することが明言されている。

なぜ重要か

映像クリエイターやVFX制作にとって、被写体のロトスコーピング作業が劇的に短縮されるインパクトは大きい。大まかにオブジェクトを指定するだけで、実用に耐えるアルファチャンネルが一発で手に入るからだ。

生成AIの事前知識を「新規映像の生成」ではなく「実用的な後処理ツールの精度向上とデータ収集」に転用した点もスマートだ。モデル本体と5万本のデータセットが実際に配布されれば、動画編集におけるオープンソースツールの水準を一段引き上げることになるだろう。