研究團隊提出 MatAnyone：首幀點選一下，複雜影片也能精細摳圖

做過影片後期的人都知道，最讓人頭疼的不是摳靜止的物體，而是人在動的時候，邊緣的髮絲瘋狂閃爍，或者背景稍微複雜一點，衣服的一角就被背景直接吞掉。

以往那種不依賴任何輔助資訊的自動摳圖演算法，遇到光影變化或雜亂背景往往瞬間露餡。南洋理工大學 S-Lab 等機構的研究人員在 2025 年 2 月公佈了一項名為 MatAnyone 的新研究，已被計算機視覺頂會 CVPR 2025 接收。這項研究要解決的核心問題，就是讓複雜場景下的影片摳圖既穩得住，細節又足夠鋒利。

第一幀點幾下，後續全程跟牢

MatAnyone 採用了一種目標指定的互動範式。簡單來說，你不需要在整段影片裡反覆糾正，只要藉助現有的互動式分割工具，在影片的第一幀上用滑鼠點幾下，標記出想要摳出的主體就行。

有了第一幀的目標掩碼之後，模型就會基於它生成高質量的透明度遮罩，也就是通常所說的 Alpha 通道。

為了保證後續幀不跟丟、不抽搐，MatAnyone 建立了一套基於記憶機制的一致性傳播模組。它設計了一個區域自適應記憶融合單元，能把前一幀記錄下的特徵靈活融入當前幀。

這個設計的精妙之處在於分工明確：在人體的核心區域，它負責死死鎖住語義資訊，防止走著走著身體被扣穿；而在人物邊緣，它又專門負責捕捉髮絲、半透明布料等高頻微小細節。

更實用的是，研究團隊還給它加入了一套迴圈細化機制。即使你在第一幀給出的分割掩碼稍微有點糙，模型在推理階段也能自我迭代修正，直接把毛糙的選區拉昇到單張精細圖片級別的摳圖質感，中間完全不需要重新微調模型。

把分割資料和摳圖資料拆開訓

影片摳圖領域一直有個大難題，那就是高質量、帶真實發絲級 Alpha 通道的影片資料集極其稀缺。如果只用合成的綠幕素材去硬訓，模型一到真實世界就會大打折扣。

MatAnyone 團隊想了個很聰明的辦法：他們把任務拆開，分別利用不同資料來源的長處。他們引入了大規模的目標分割資料來訓練語義穩定性，讓模型認得準人；同時利用高質量的摳圖資料來專攻邊緣細節。

配合專門設計的獨立損失函式，模型既吃到了海量分割資料的紅利，又沒有丟掉髮絲級別的精細度。研究團隊還為此專門構建了一個規模更大、質量更高且場景更多樣的影片摳圖評測資料集。

為什麼重要

對影片剪輯師、特效師和個人創作者來說，這個工具如果落地，價值非常直接。它意味著大家以後拍影片可以真正擺脫綠幕的束縛，哪怕在雜亂的街道或者昏暗的室內，只要首幀點選一下，就能拿到電影級別的摳畫素材，大大降低了虛擬背景替換和多層合成的製作門檻。

我們認為，這項研究走得最漂亮的一步是資料策略的解耦。很多團隊試圖用單一模態硬懟端到端的大模型，但影片摳圖既需要極強的語義識別，又需要亞畫素級的邊緣感知，兩種資料在現實中根本無法同等規模獲取。MatAnyone 把語義穩定性和邊緣細節分開由不同資料供給，用極巧的網路架構彌合了兩者。

不過看起來它也並非沒有軟肋。這種重度依賴第一幀記憶傳播的架構，一旦遇到目標長時間完全被遮擋後再重新出現的場景，或者鏡頭劇烈晃動導致運動模糊，記憶鏈條是否會斷裂、會不會把背景中的相似物體錯誤吸納，依然是這類記憶網路在極端工程落地時需要直面的考驗。