動画切り抜きAI「MatAnyone」登場：3GBのVRAMで動作、単一GPUで4Kリアルタイム処理

動画編集で最も骨が折れる作業といえば、前景の切り抜きです。風になびく髪の毛や半透明のレース、ガラスなどのディテールは、従来のグリーンバックやマスク処理では破綻しやすく、高精度なAIモデルを動かそうとすると膨大なVRAMを要求されてきました。

研究チームは動画マット処理モデル「MatAnyone」（論文ではMatAnyone-Eと表記）を発表しました。一本一本の髪の毛や半透明の柔らかな輪郭まで精密に分離でき、約3GBのVRAMで軽快に動作するだけでなく、単一のH200 GPU上で4Kのリアルタイム処理を成し遂げています。

難所だけを高解像度で攻める仕組み

高品質な動画切り抜きでは、時間的な一貫性を保つために過去のフレーム情報を参照する「メモリベース」の手法が主流です。しかし、4Kなどの高解像度になると、フレーム間の照合計算とメモリ消費が爆発的に膨らんでしまいます。

MatAnyone-Eのアプローチは非常にスマートです。まず映像全体を低解像度で解析し、髪の毛の先端や輪郭のボケといった「切り分けが難しい不確実な領域」と、それに対応する過去フレームのメモリを特定します。

そして、その特定された難所にだけ高解像度の照合処理を集中させ、平坦で単純な領域は低解像度の結果を再利用します。さらにボトルネックを解消した軽量デコーダを組み合わせることで、先行手法のMatAnyone 2と同等の品質を保ちながら約7.4倍の推論高速化を果たし、4K時のピークVRAM消費をわずか7.6%にまで削減しました。

一般向けGPUで動作、ComfyUIノードも準備中

この効率化により、推論のコンパイルを有効にした単一のNVIDIA H200において、1080pで73.07 FPS、4Kでも28.62 FPSというリアルタイム水準をマークしました。

個人クリエイターにとってさらに嬉しいのは、約3GBという動作要件です。クラウドのハイエンドGPUを借りなくても、一般的な市販グラフィックボードで十分に動作し、複数人が入り乱れる複雑なシーンでも前景をきれいに分離できます。

プロジェクトページでは訓練コードとモデル重みの公開が予告されており、将来的にはComfyUI向けのカスタムノードもリリースされる予定です。

なぜ重要か

MatAnyoneが優れているのは、切り抜き精度の高さそのもの以上に、ハリウッド級の重厚なマット処理を日常的な制作ツールへと引き下げた点にあります。

これまで、髪の毛1本まで捉える動画マスキングは、長時間のレンダリング時間をかけるか、巨大な計算クラスタを使う妥協の産物でした。4Kリアルタイム処理を3GBのVRAMに収めたことで、バーチャル配信の背景合成や個人クリエイターのVFX作業、ローカルでの自動編集パイプラインが一気に現実味を帯びてきます。ComfyUI対応が果たされれば、制作現場での導入は急速に進むはずです。

技術的にも、「難しい箇所だけを選別して高解像度計算を割り当てる」疎な処理設計は、他の高解像度動画モデルにとっても優れた手本となります。ただし、現在はデモと論文が公開された段階であり、激しいカメラの揺れや極端な照明変化にどこまで耐えられるかは、今後のオープンソース公開後の検証を見極める必要があります。