跳到正文
IFAI

开源项目

Netflix 开源视频模型 VOID:删掉物体,连带修好物理因果

首次发布 传播指数 59

Netflix 开源视频编辑模型 VOID,允许指定删除视频中的任意物体。最特别的是它会推导物理因果,抹去物体后让受影响的物体自然坠落、保持真实。模型权重与代码已全部公开,总大小约 22GB,本地运行需 40GB 以上显存的高端 GPU。

Netflix 开源视频模型 VOID:删掉物体,连带修好物理因果
图:github.com

VOID 是 Netflix 开源的视频编辑模型,全称是 Video Object and Interaction Deletion。它的核心用途很简单:在视频里指定删除任意物体,而且不仅抹掉目标本身,还能顺带把物体引发的物理因果一起算对。

以往绝大多数视频擦除工具做的事情就像橡皮擦,把人物抹掉之后,原本被托着的箱子会凭空悬在半空中,或者把椅子抹掉后人悬空坐着。VOID 的解决方式是让画面重构符合物理逻辑:如果把拿吉他的人删掉,吉他会顺着重力自然掉在地上;如果把扔保龄球的人和球删掉,远处的球瓶依然稳稳站立;删掉一侧行驶的车辆,另一辆车也不会莫名其妙撞车。

它怎么做到理解物理的

VOID 是基于 50 亿参数的开源模型 CogVideoX-Fun-V1.5-5b-InP 进行微调的,架构为 3D Transformer。它之所以能处理因果关系,关键在于把消除流程拆成了视觉语言推理与扩散生成两步。

在动笔涂抹之前,系统会先用 SAM 2 和 Gemini 对画面做因果推断。它会追问这个物体正在对周围产生什么物理影响,并将画面拆解为一张包含四种数值的「四值掩码(quadmask)」。0 代表需要删除的核心物体,63 代表重叠区域,127 代表所有受到连带物理影响的区域(例如坠落的物体或改变轨迹的道具),255 则是完全保留的背景。

拿到这张包含因果关系的掩码后,扩散模型才会开始补全画面。生成过程分成了两个阶段。第一阶段负责基础重绘,对大多数常规镜头已经足够;如果遇到较长视频出现形态漂移或变形,可以启用第二阶段,借助光流对第一阶段的输出进行扭曲去噪,让长镜头的物理轨迹和物体外形更稳定。

硬件门槛与怎么上手

VOID 已经公开了代码与模型权重,采用 Apache 2.0 开源协议。项目提供了包含完整流程的 Jupyter 笔记本,并且支持 Hugging Face 的 Diffusers 流程。

不过它的本地运行门槛相当高。模型权重主要包含约 10GB 的 CogVideoX 基础模型以及总大小约 22GB 的 VOID 两阶段检查点文件。推理默认分辨率为 384x672,支持最多 197 帧。由于显存占用巨大,官方明确要求至少配备 40GB 显存的高端 GPU(例如 A100)。如果你手里只有 RTX 3090 或 4090 这类消费级显卡,目前无法在本地完整跑起来。

想尝鲜的开发者可以直接去 GitHub 仓库(Netflix/void-model)或 Hugging Face 下载模型。没有 A100 的用户,建议通过项目主页提供的在线 Demo 体验,或者在云端算力平台租用单张 A100 运行配套的 notebook。

为什么重要

对于影视后期和独立创作者来说,擦除穿帮道具或路人向来是耗费大量工时的逐帧工作,而 VOID 第一次把物理规律引入了视频擦除,大幅减少了修完后还得手动补物理特效的麻烦。除此以外,自动生成合乎物理规律的对照视频,对具身智能和自动驾驶的数据集构建也很有参考价值。

我们认为,Netflix 愿意把内部特效级别的工具以 Apache 2.0 协议开源,做法相当实在。目前的硬伤主要在算力门槛:40GB 显存把绝大多数个人电脑挡在门外,且两阶段推理流程相对繁琐。如果后续社区能推出更轻量的量化版本或将掩码生成流水线进一步精简,它会成为视频创作者手头非常趁手的修片利器。

来源 (4)

  1. [1]
  2. [2]
  3. [3]
    huggingface.co(在新标签页打开)报道huggingface.co
  4. [4]
    void-model.github.io(在新标签页打开)报道void-model.github.io

每日 AI 内容精选