跳到正文
IFAI

开源项目

Omnimat Zero 开源:不仅能从视频中删物体,连倒影和阴影也能抹掉

首次发布 传播指数 59

开源视频工具 Omnimat Zero 能够精准擦除画面中的物体,并同步清理水坑倒影与地面阴影。它还能应对复杂的遮挡关系,或把前景单独提取为透明图层供替换背景,目前代码与本地运行说明已在 GitHub 开源。

图:dvirsamuel.github.io

做过视频后期的人都知道,在动态画面里擦掉一个东西有多折磨人。最麻烦的从来不是物体本身,而是地面跟着晃的阴影,以及地面积水里那层若隐若现的倒影。传统工具往往只管把目标圈出来抹掉,留下一团诡异的影子悬在半空。

开源工具 Omnimat Zero 就是冲着这个痛点来的。它不仅能把画面里的主体擦掉,还能顺藤摸瓜,把关联的阴影和倒影一并清理干净。

连水坑里的倒影和桌面的冒号都能抹干净

从官方演示来看,这套工具在细节理解上确实有一套。比如选择移除一只猫,它不仅能把猫本身擦干净,还能准确识别并删掉水坑里的倒影。用来移除天鹅时能连带处理水面波纹倒影,移走奔跑的人或小狗时,也能把地面上的动态阴影同步抹掉。

它甚至能搞定极其微小的关联细节。演示中只擦除时钟上的冒号,桌面反射里对应的冒号也会被同步抹去。而在更刁钻的遮挡测试里,要求删除背景里的人、同时保留前景立着的一根杆子,其他对比方法把杆子也抹掉了一截,只有 Omnimat Zero 完整保留了前景杆子。

除了擦除物体,它还能把目标前景单独扣出来、生成一层透明通道,方便直接搬去新背景。目前该项目的完整代码和本地运行说明已经在 GitHub 开源。

为什么重要

对视频剪辑师和特效从业者来说,这可以说是省下大把逐帧修图时间的利器。以往处理倒影和漫反射需要大量手动遮罩配合跟踪,现在能交给算法直接连带清除,擦穿遮挡物的翻车概率也明显更低。

不过从演示来看,它目前附带的换背景合成效果还比较粗糙,边缘融合不算自然。我们认为,别急着用它做一键换背景,现阶段把它当作纯粹的「高精度擦除工具」来用会聪明得多。只要本地算力足够,非常值得剪辑师把它放进自己的预处理工具箱。

来源 (3)

  1. [1]
  2. [2]
    dvirsamuel.github.io(在新标签页打开)报道dvirsamuel.github.io
  3. [3]

每日 AI 内容精选