動画切り抜きモデル「MatAnyone」登場：初コマ指定だけで複雑な背景も綺麗に分離

動画編集で人物の切り抜きを行ったことがある人なら、髪の毛の輪郭がフレームごとに激しくチラついたり、少し背景が複雑になった途端に服の一部が背景に溶け込んだりするストレスをよく知っているはずです。

外部の補助情報に頼らない従来の完全自動動画マット生成手法は、照明の変化や入り組んだ背景に直面すると破綻しやすいのが弱点でした。南洋理工大学などの研究チームが発表し、国際学会 CVPR 2025 に採択された「MatAnyone」は、この課題をクリアするために設計された新たなフレームワークです。

最初の1フレームを指定するだけ

MatAnyone は、ユーザーが最初のフレームで対象を指定するインタラクティブなアプローチを採用しています。最新のセグメンテーションツールの要領で、動画の第1フレーム上で切り抜きたい人物を数回クリックするだけで準備は完了します。

システムはこの初期マスクから高精度なアルファマットを予測し、それを起点に動画全体へと追従処理を展開していきます。

安定した追従を実現するのが、領域適応型メモリ融合を用いた一貫性メモリ伝播モジュールです。直前のフレームの記憶を現在のフレームへ適応的に引き継ぐ仕組みを備えています。

この機構の強みは、体や服といった主要領域では意味的なブレを防いで人物を見失わないようにしつつ、境界線では髪の毛のような微細なディテールを忠実に保つ点にあります。推論時に追加の再学習を行うことなく反復的なリファインが可能で、静止画専用のマット生成に匹敵する解像感を実現しています。

分割データと合成データの巧みな併用

高品質な動画マット生成の最大の壁は、髪の毛レベルの透過情報を含んだ実写動画データの圧倒的な不足でした。

MatAnyone チームはこの問題に対し、学習戦略を根本から見直しました。大規模な一般セグメンテーションデータを用いて「人物を見失わない意味的安定性」を叩き込み、高品質なマット生成データを用いて「輪郭のディテール」を仕上げるという、二段構えの学習手法を導入したのです。

それぞれに独立した損失関数を設計して同時に最適化することで、データ不足を補いながら実環境での頑健性を飛躍的に高めています。

なぜ重要か

映像クリエイターやVFXアーティストにとって、グリーンバック不要でここまで安定したロトスコープが実現する意味は絶大です。雑踏や暗がりで撮影した実写素材でも、最初の1フレームを指示するだけで商用レベルの合成素材が手に入る未来が見えてきます。

私たちが注目すべきだと考えるのは、認識タスクと輪郭抽出タスクを学習データレベルで切り分けた着眼点のスマートさです。すべてを単一の動画データで解こうとせず、既存の豊富な分割資産をテコにしたアプローチは非常に合理的と言えます。

一方で、被写体が長時間遮蔽物に隠れてから再び現れるケースや、極端なモーションブラーが発生した際に、メモリの伝播がどこまで耐えきれるかという懸念は残ります。それでも、制作現場のロトスコープ地獄を過去のものにする大きな前進であることは間違いありません。