Meta 推出 SAM Audio：像抠图一样抠声音，支持点选画面和文字分离

以前在视频里抠图，大家习惯了用 Meta 的 SAM，鼠标点一下，目标物体就被裁出来了。现在 Meta 把这套逻辑搬到了声音上，直接推出了 SAM Audio。

简单说，它想做的是声音版的一键抠图。不管一段录音里有多杂乱，你只要给一个提示，它就能把目标声音给剥离出来。

鼠标点一下吉他，就能单独把琴声抽出来

传统的音频分离工具往往各管一摊，人声提取是一套软件，降噪是一套算法，乐器分轨又是另一套插件。SAM Audio 则是做成了一个统一的多模态模型。

它最亮眼的地方在于提示词方式极其灵活。你可以在视频里直接用鼠标点击正在弹奏的吉他，模型就能靠画面定位并提取出这把吉他的声音。

除了视觉线索，你也可以直接打字输入文本提示，比如让它滤掉马路上的车流噪音。如果你在录播客，背景里偶尔有一两声狗叫，你只需要在时间轴上圈出狗叫的时间段，也就是所谓的跨度提示，它就能在整段录音里清理掉类似的噪音。

在底层架构上，SAM Audio 采用了基于流匹配的扩散 Transformer 架构。输入原始音频和提示词后，模型会统一编码，然后同时生成目标音轨和剩下的残留音轨。

PE-AV 充当耳朵，评测基准也一起开源

光有处理音频的大脑还不够，模型还得看懂视频里的发声体。为此 Meta 同步推出了 PE-AV，也就是音视频感知编码器。

PE-AV 相当于给 SAM Audio 裝上了一双耳朵。它是基于 Meta 在 4 月发布的开源 Perception Encoder 扩展而来的，负责提取视频帧级别的特征，并将其与音频特征对齐。

除了核心模型，Meta 这次还打包放出了一整套生态。包括用于真实场景评估的基准数据集 SAM Audio-Bench，以及行业首个自动音频分离评判模型 SAM Audio Judge。

目前这个模型已经在 Meta 的 Segment Anything Playground 上线，大家可以直接上传自己的音频或视频素材上手体验。

为什么重要

对于做播客、短视频剪辑以及独立音乐制作的人来说，SAM Audio 的价值非常直接。以往处理嘈杂的外景录音或多音轨混杂时，创作者要反复倒腾降噪插件和分轨工具，现在靠自然语言或者点选画面就能解决，创作门槛被大幅拉低，完全值得第一时间去网页端试一试。

从行业角度看，Meta 正在把 SAM 在计算机视觉上的成功路径，原封不动地复制到音频领域。这相当于向那些功能单一的音频降噪、人声分离商业工具发起降维打击，未来多模态理解和音频编辑必然会彻底焊死在一起。

我们认为 Meta 这步棋下得非常聪明。通过开源基准数据集和自动评估模型，它试图在音频分离领域确立类似 SAM 在视觉领域的技术标准。不过扩散 Transformer 架构的计算开销通常不小，它在移动端或普通电脑上的本地实时运行表现究竟如何，目前看起来还是个需要观察的疑问。