Netflix 開源影片模型 VOID：刪掉物體，連帶修好物理因果

VOID 是 Netflix 開源的影片編輯模型，全稱是 Video Object and Interaction Deletion。它的核心用途很簡單：在影片裡指定刪除任意物體，而且不僅抹掉目標本身，還能順帶把物體引發的物理因果一起算對。

以往絕大多數影片擦除工具做的事情就像橡皮擦，把人物抹掉之後，原本被托著的箱子會憑空懸在半空中，或者把椅子抹掉後人懸空坐著。VOID 的解決方式是讓畫面重構符合物理邏輯：如果把拿吉他的人刪掉，吉他會順著重力自然掉在地上；如果把扔保齡球的人和球刪掉，遠處的球瓶依然穩穩站立；刪掉一側行駛的車輛，另一輛車也不會莫名其妙撞車。

它怎麼做到理解物理的

VOID 是基於 50 億引數的開源模型 CogVideoX-Fun-V1.5-5b-InP 進行微調的，架構為 3D Transformer。它之所以能處理因果關係，關鍵在於把消除流程拆成了視覺語言推理與擴散生成兩步。

在動筆塗抹之前，系統會先用 SAM 2 和 Gemini 對畫面做因果推斷。它會追問這個物體正在對周圍產生什麼物理影響，並將畫面拆解為一張包含四種數值的「四值掩碼（quadmask）」。0 代表需要刪除的核心物體，63 代表重疊區域，127 代表所有受到連帶物理影響的區域（例如墜落的物體或改變軌跡的道具），255 則是完全保留的背景。

拿到這張包含因果關係的掩碼後，擴散模型才會開始補全畫面。生成過程分成了兩個階段。第一階段負責基礎重繪，對大多數常規鏡頭已經足夠；如果遇到較長影片出現形態漂移或變形，可以啟用第二階段，藉助光流對第一階段的輸出進行扭曲去噪，讓長鏡頭的物理軌跡和物體外形更穩定。

硬體門檻與怎麼上手

VOID 已經公開了程式碼與模型權重，採用 Apache 2.0 開源協議。專案提供了包含完整流程的 Jupyter 筆記本，並且支援 Hugging Face 的 Diffusers 流程。

不過它的本地執行門檻相當高。模型權重主要包含約 10GB 的 CogVideoX 基礎模型以及總大小約 22GB 的 VOID 兩階段檢查點檔案。推理預設解析度為 384x672，支援最多 197 幀。由於視訊記憶體佔用巨大，官方明確要求至少配備 40GB 視訊記憶體的高階 GPU（例如 A100）。如果你手裡只有 RTX 3090 或 4090 這類消費級顯示卡，目前無法在本地完整跑起來。

想嚐鮮的開發者可以直接去 GitHub 倉庫（Netflix/void-model）或 Hugging Face 下載模型。沒有 A100 的使用者，建議通過專案主頁提供的線上 Demo 體驗，或者在雲端算力平臺租用單張 A100 執行配套的 notebook。

為什麼重要

對於影視後期和獨立創作者來說，擦除穿幫道具或路人向來是耗費大量工時的逐幀工作，而 VOID 第一次把物理規律引入了影片擦除，大幅減少了修完後還得手動補物理特效的麻煩。除此以外，自動生成合乎物理規律的對照影片，對具身智慧和自動駕駛的資料集構建也很有參考價值。

我們認為，Netflix 願意把內部特效級別的工具以 Apache 2.0 協議開源，做法相當實在。目前的硬傷主要在算力門檻：40GB 視訊記憶體把絕大多數個人電腦擋在門外，且兩階段推理流程相對繁瑣。如果後續社群能推出更輕量的量化版本或將掩碼生成流水線進一步精簡，它會成為影片創作者手頭非常趁手的修片利器。