影片摳像模型 VideoMaMa：粗掩碼轉畫素級摳像，宣佈將開源

VideoMaMa 是一個專門用來做高質量影片摳像的模型，能把粗糙的物體分割掩碼直接變成畫素級精準的透明通道。

做影片後期或者綠幕摳像的人都知道，傳統摳像極其費時，特別是遇到飄動的髮絲、透明玻璃或者複雜的運動邊緣，普通分割模型往往切得支離破碎。VideoMaMa 解決的就是這個問題，使用者只需要提供一個大致的輪廓，它就能自動補齊邊緣細節，輸出乾淨的透明通道。

它是怎麼做到的

VideoMaMa 的全稱是 Video Mask-to-Matte Model，核心思路是利用預訓練影片擴散模型中自帶的生成先驗。

真實世界的高精度摳像標註資料非常稀缺，過去的技術很難直接遷移到生活場景中。研究團隊做了一件很討巧的事：VideoMaMa 完全只用合成數據進行訓練，不需要昂貴的真實影片標註。

由於直接借用了預訓練影片擴散模型理解運動和畫面的能力，它展現出了極強的零樣本泛化效能。即便面對完全沒見過的真實拍攝素材，模型也能憑藉生成先驗，把生硬的掩碼邊緣自然過渡成細膩的髮絲級細節。

5 萬條真實影片和 SAM2-Matte

有了這個基礎，團隊順手搭建了一套可擴充套件的自動偽標籤管線，用來批次生成高質量影片摳像資料。

利用這套流程，他們構建了名為 MA-V（Matting Anything in Video）的資料集。這個資料集包含超過 5 萬條真實世界影片，涵蓋了各種複雜場景和大幅度運動，徹底打破了以往摳像資料集規模有限的困境。

為了驗證這套資料的含金量，研究團隊還在 MA-V 上微調了 Meta 的 SAM2 模型，打造出專精摳像的 SAM2-Matte。測試結果顯示，在真實拍攝的複雜影片中，SAM2-Matte 的穩定性和魯棒性明顯超過了那些使用現有傳統資料集訓練的模型。

開源方面，團隊在專案主頁宣佈，包括 VideoMaMa 模型、SAM2-Matte 以及擁有 5 萬多條影片的 MA-V 資料集，後續都會全量公開發布。

為什麼重要

對影片剪輯師、特效師和創作者來說，高質量影片摳像一直是門檻最高、耗時最長的工序之一。如果以後只要給一個 SAM 風格的大致選區，模型就能自動吐出電影級的綠幕摳像，後期製作的效率會被直接拉滿。

從技術路線來看，這篇工作的聰明之處在於跳出了「死磕人工精細標註」的死衚衕。先用影片生成模型自帶的世界理解能力把合成數據推向極致，再回過頭來給真實世界影片打標籤，最後反哺出更強的通用工具。一旦這套模型和 5 萬條資料集正式放出，影片後期的開源生態很可能會迎來一次集體洗牌。