Netflix、動画から物体と「物理的影響」を同時に消すモデル「VOID」をオープンソース公開

VOIDは、Netflixがオープンソースで公開した動画編集モデルだ。動画から指定した物体を削除できるだけでなく、その物体が引き起こしていた物理的な相互作用までまとめて解消してくれる。

従来の動画インペインティングツールは、単に対象のピクセルを周囲の背景で塗りつぶすだけだった。そのため、荷物を運んでいる人物を消すと荷物が宙に浮き、椅子を消すと座っていた人が空中浮遊するといった物理の破綻が起きていた。VOIDは因果関係を計算するため、ギターを抱えた人物を消せばギターが重力に従って床に落ち、ボウリングの球を投げる人と球を消せば、ピンは倒れず直立したまま残る。

物理の因果を読み解く仕組み

VOIDは、50億パラメータのオープンソースモデル「CogVideoX-Fun-V1.5-5b-InP」をベースにファインチューニングされた3D Transformerモデルだ。映像の再生成に入る前に、視覚言語モデル（VLM）でシーン全体の因果関係を推論するアプローチを採っている。

具体的には、SAM 2とGeminiを組み合わせたパイプラインが対象物体と周囲の関係を分析し、「quadmask」と呼ばれる4値マスクを生成する。値0は削除対象、63は重なり部分、127は落下物など物理的影響を受ける領域、255は保持する背景を示す。このマップを道標にして拡散モデルが背景を生成する。

推論は2段階構成になっている。通常の短い動画であれば第1パス（Pass 1）だけで自然な映像が仕上がる。クリップが長くなり被写体の形状が崩れる場合には、オプティカルフローを用いて第1パスのノイズを補正する第2パス（Pass 2）を重ねることで、安定したトラッキングを保つことができる。

ハードウェア要件と試し方

コードはGitHubで、重みはHugging Faceで公開されており、ライセンスはApache 2.0だ。手軽に試せるJupyter NotebookやDiffusersパイプラインも用意されている。

注意すべきはローカル環境の動作ハードルの高さだ。約10GBのCogVideoXベースモデルに加え、VOIDのチェックポイントが合計約22GBある。デフォルト解像度は384x672で最大197フレームを処理できるが、実行にはA100など最低でも40GB以上のVRAMを備えたエンタープライズ向けGPUが必須となる。RTX 3090や4090といった一般的なコンシューマー向けGPUではローカル動作しない。

ハードウェア環境が揃っているなら、公式GitHubリポジトリ（Netflix/void-model）からコードを取得して付属のNotebookを動かすのが最も早い。A100がない場合は、プロジェクトページ上のデモを触るか、RunPodなどのクラウドGPUを活用するのが現実的な選択肢になる。

なぜ重要か

映像編集やVFXの現場では、映り込んだ不要な物やエキストラを消すために膨大なロトスコープ作業と後処理の手作業が発生していた。VOIDはその物理破綻の修正を自動化できる点で画期的だ。映像クリエイターだけでなく、ロボティクス分野などで物理的に整合した反実仮想データを集めたい研究者にとっても実用価値が高い。

Netflixが自社の映像制作ノウハウに関わる基盤をApache 2.0で完全公開した姿勢は評価できる。現状の最大の課題は40GB以上のVRAMという実行コストの高さだ。今後コミュニティによって軽量化や量子化が進み、市販のグラフィックボードで動くようになれば、個人クリエイターの映像制作ワークフローを一変させる可能性がある。