動画の反射や影まで消せる「Omnimat Zero」がオープンソースで登場

動画編集で不要な被写体を消す作業において、最も厄介なのは対象そのものではなく、足元に伸びる影や水たまりに揺れる反射です。被写体だけを雑に消すと、不自然な影だけが残って違和感が生じます。

オープンソースで公開された「Omnimat Zero」は、まさにこの課題を解消するために作られた動画除去ツールです。対象を消すだけでなく、関連する影や反射までまとめて綺麗に拭い去ってくれます。

水たまりの反射から机の映り込みまで追従

公開されたデモでは、かなり細かい環境の認識精度を見せています。例えば猫を消す指定をすると、本体だけでなく水たまりに映り込んだ姿まで正確に消去します。水面の白鳥や地面を走る犬の影、人の足元の影も同様に違和感なく処理されます。

驚くのはその細かさです。デジタル時計のコロン（:）だけを消した際、机の天板に映っていたコロンの反射まで連動して消去しました。さらに、手前にあるポールを残して背景の人物だけを消すという難しいシーンでも、他の手法がポールまで巻き込んで消してしまう中、Omnimat Zero だけが手前を綺麗に保持しました。

また、被写体を透明レイヤーとして抽出し、別背景に合成する機能も備えています。コードとローカル環境向けの導入手順はすでに GitHub で公開されています。

なぜ重要か

これまで反射や影の除去は、手作業でマスクを切ってトラッキングし直す膨大な手間がかかっていました。これを自動で認識・消去できるツールがローカルで動く意義は、映像制作現場にとって非常に大きいです。

一方で、抽出した前景を別の背景に馴染ませる合成機能については、境界線の処理など荒削りな部分も見られます。現状では一発合成を狙うのではなく、あくまで「影や反射まで巻き取れる高精度な不要物クリーンアップツール」として下処理に組み込むのが賢い使い方だと考えます。