清华开源音视频提取模型 Falcon：看嘴型抽离人声，直连腾讯会议

Falcon 是清华大学团队开源的音视频目标说话人提取模型。它的核心能力简单直接：在多人说话或嘈杂的环境里，靠摄像头看着说话人的嘴巴，直接把这个人的干净声音从背景噪音里抽离出来。

这篇研究已被 NeurIPS 2026 接收，论文与代码已在 10 月 23 日公开，配套代码和模型权重全部开源在 GitHub 和 Hugging Face。

它能做什么，怎么做到的

传统的降噪和人声分离主要依赖音频信息，一旦多人重叠说话或者环境混响严重，AI 很容易跟丢或误切。Falcon 走的是音视频结合路线，把麦克风录到的杂乱声音和摄像头捕捉到的面部嘴动画面对齐，只保留画面中那张嘴发出的声音。

实现上，它没有用反复叠加小分离器的笨办法，而是设计了一个单遍编解码的多尺度时频分离架构。模型借助一个预训练冻结的 11.2M 参数唇读编码器提取嘴部特征，而 Falcon 自己负责分离的核心模块，可训练参数仅有 50 万（0.5M）。

团队还加入了一种编码器空间的说话人对比损失，能在不增加任何推理开销的前提下抑制近场声音泄漏，即使干扰说话人离麦克风很近也能有效剥离。

性能、规格与怎么跑起来

小体积换来了相当夸张的效率提升。和基准模型 AV-TF-GridNet 相比，Falcon 的可训练参数量减少了 91.9%，计算量降低了约 20 倍，GPU 推理延迟缩短了 11 倍；即使对比同为 50 万参数的轻量级模型 Swift-Net-12，它的 GPU 延迟也降低了约 70%，计算量减少约 77%。

在团队同步开源的 RealSSA 真实场景评测基准，以及 LRS2、LRS3 和 VoxCeleb2 等公开测试中，Falcon 的分离指标均刷新了最前沿表现。

除了基础算法模型，团队还开源了配套应用 Falcon Studio。它不需要昂贵的服务器，可以在本地笔记本电脑上直接跑起来，支持 NVIDIA GPU、苹果 Apple Silicon（Metal）以及普通 CPU。

它的实用度在于打通了工作流：用笔记本自带摄像头追踪面部嘴部，分离出的干净语音不仅能输出到耳机，还能通过虚拟音频设备直接作为麦克风输入送进腾讯会议或 Zoom。如果不打算本地部署，Hugging Face 上也提供了一个最长录制 60 秒音频分离的 ZeroGPU 在线 Demo。

为什么重要

对经常在咖啡馆、开放式工位或机场参加视频会议的人来说，Falcon 提供了一个极佳的开箱即用方案。以往这类多模态降噪大多停留在论文里的离线评测，而清华团队把参数量压缩到 50 万，并做出了能接进腾讯会议和 Zoom 的 Falcon Studio，真正让学术研究落地成了日常工具。此外，智能眼镜、语音 Agent 和服务机器人这类计算资源极其有限的边缘硬件，也能借此低门槛获得精准的定向拾音能力。

我们认为这套方案最聪明的地方在于算力分配：借用成熟的冻结视觉特征，把自己的分离网络做到极致轻量化，做到了极低延迟。不过它也有天然的物理局限：由于高度依赖视觉唇动对齐，如果用户转头、镜头被遮挡或光线极差，分离效果就会打折扣。但就目前的桌面办公和会议场景而言，它已经足够让人眼前一亮。