跳到正文
IFAI

開源專案

Omnimat Zero 開源:不僅能從影片中刪物體,連倒影和陰影也能抹掉

首次發布 傳播指數 59

開源影片工具 Omnimat Zero 能夠精準擦除畫面中的物體,並同步清理水坑倒影與地面陰影。它還能應對複雜的遮擋關係,或把前景單獨提取為透明圖層供替換背景,目前程式碼與本地執行說明已在 GitHub 開源。

圖:dvirsamuel.github.io

做過影片後期的人都知道,在動態畫面裡擦掉一個東西有多折磨人。最麻煩的從來不是物體本身,而是地面跟著晃的陰影,以及地面積水裡那層若隱若現的倒影。傳統工具往往只管把目標圈出來抹掉,留下一團詭異的影子懸在半空。

開源工具 Omnimat Zero 就是衝著這個痛點來的。它不僅能把畫面裡的主體擦掉,還能順藤摸瓜,把關聯的陰影和倒影一併清理乾淨。

連水坑裡的倒影和桌面的冒號都能抹乾淨

從官方演示來看,這套工具在細節理解上確實有一套。比如選擇移除一隻貓,它不僅能把貓本身擦乾淨,還能準確識別並刪掉水坑裡的倒影。用來移除天鵝時能連帶處理水面波紋倒影,移走奔跑的人或小狗時,也能把地面上的動態陰影同步抹掉。

它甚至能搞定極其微小的關聯細節。演示中只擦除時鐘上的冒號,桌面反射裡對應的冒號也會被同步抹去。而在更刁鑽的遮擋測試裡,要求刪除背景裡的人、同時保留前景立著的一根杆子,其他對比方法把杆子也抹掉了一截,只有 Omnimat Zero 完整保留了前景杆子。

除了擦除物體,它還能把目標前景單獨扣出來、生成一層透明通道,方便直接搬去新背景。目前該專案的完整程式碼和本地執行說明已經在 GitHub 開源。

為什麼重要

對影片剪輯師和特效從業者來說,這可以說是省下大把逐幀修圖時間的利器。以往處理倒影和漫反射需要大量手動遮罩配合跟蹤,現在能交給演算法直接連帶清除,擦穿遮擋物的翻車機率也明顯更低。

不過從演示來看,它目前附帶的換背景合成效果還比較粗糙,邊緣融合不算自然。我們認為,別急著用它做一鍵換背景,現階段把它當作純粹的「高精度擦除工具」來用會聰明得多。只要本地算力足夠,非常值得剪輯師把它放進自己的預處理工具箱。

來源 (3)

  1. [1]
  2. [2]
    dvirsamuel.github.io(在新分頁開啟)報導dvirsamuel.github.io
  3. [3]

每日 AI 內容精選