Meta 推出 SAM Audio：像摳圖一樣摳聲音，支援點選畫面和文字分離

以前在影片裡摳圖，大家習慣了用 Meta 的 SAM，滑鼠點一下，目標物體就被裁出來了。現在 Meta 把這套邏輯搬到了聲音上，直接推出了 SAM Audio。

簡單說，它想做的是聲音版的一鍵摳圖。不管一段錄音裡有多雜亂，你只要給一個提示，它就能把目標聲音給剝離出來。

滑鼠點一下吉他，就能單獨把琴聲抽出來

傳統的音訊分離工具往往各管一攤，人聲提取是一套軟體，降噪是一套演算法，樂器分軌又是另一套外掛。SAM Audio 則是做成了一個統一的多模態模型。

它最亮眼的地方在於提示詞方式極其靈活。你可以在影片裡直接用滑鼠點選正在彈奏的吉他，模型就能靠畫面定位並提取出這把吉他的聲音。

除了視覺線索，你也可以直接打字輸入文本提示，比如讓它濾掉馬路上的車流噪音。如果你在錄播客，背景裡偶爾有一兩聲狗叫，你只需要在時間軸上圈出狗叫的時間段，也就是所謂的跨度提示，它就能在整段錄音裡清理掉類似的噪音。

在底層架構上，SAM Audio 採用了基於流匹配的擴散 Transformer 架構。輸入原始音訊和提示詞後，模型會統一編碼，然後同時生成目標音軌和剩下的殘留音軌。

PE-AV 充當耳朵，評測基準也一起開源

光有處理音訊的大腦還不夠，模型還得看懂影片裡的發聲體。為此 Meta 同步推出了 PE-AV，也就是音影片感知編碼器。

PE-AV 相當於給 SAM Audio 裝上了一雙耳朵。它是基於 Meta 在 4 月釋出的開源 Perception Encoder 擴充套件而來的，負責提取影片幀級別的特徵，並將其與音訊特徵對齊。

除了核心模型，Meta 這次還打包放出了一整套生態。包括用於真實場景評估的基準資料集 SAM Audio-Bench，以及行業首個自動音訊分離評判模型 SAM Audio Judge。

目前這個模型已經在 Meta 的 Segment Anything Playground 上線，大家可以直接上傳自己的音訊或影片素材上手體驗。

為什麼重要

對於做播客、短影片剪輯以及獨立音樂製作的人來說，SAM Audio 的價值非常直接。以往處理嘈雜的外景錄音或多音軌混雜時，創作者要反覆倒騰降噪外掛和分軌工具，現在靠自然語言或者點選畫面就能解決，創作門檻被大幅拉低，完全值得第一時間去網頁端試一試。

從行業角度看，Meta 正在把 SAM 在計算機視覺上的成功路徑，原封不動地複製到音訊領域。這相當於向那些功能單一的音訊降噪、人聲分離商業工具發起降維打擊，未來多模態理解和音訊編輯必然會徹底焊死在一起。

我們認為 Meta 這步棋下得非常聰明。通過開源基準資料集和自動評估模型，它試圖在音訊分離領域確立類似 SAM 在視覺領域的技術標準。不過擴散 Transformer 架構的計算開銷通常不小，它在移動端或普通電腦上的本地即時執行表現究竟如何，目前看起來還是個需要觀察的疑問。