清華開源音影片提取模型 Falcon：看嘴型抽離人聲，直連騰訊會議

Falcon 是清華大學團隊開源的音影片目標說話人提取模型。它的核心能力簡單直接：在多人說話或嘈雜的環境裡，靠攝像頭看著說話人的嘴巴，直接把這個人的乾淨聲音從背景噪音裡抽離出來。

這篇研究已被 NeurIPS 2026 接收，論文與程式碼已在 10 月 23 日公開，配套程式碼和模型權重全部開源在 GitHub 和 Hugging Face。

它能做什麼，怎麼做到的

傳統的降噪和人聲分離主要依賴音訊資訊，一旦多人重疊說話或者環境混響嚴重，AI 很容易跟丟或誤切。Falcon 走的是音影片結合路線，把麥克風錄到的雜亂聲音和攝像頭捕捉到的面部嘴動畫面對齊，只保留畫面中那張嘴發出的聲音。

實現上，它沒有用反覆疊加小分離器的笨辦法，而是設計了一個單遍編解碼的多尺度時頻分離架構。模型藉助一個預訓練凍結的 11.2M 引數唇讀編碼器提取嘴部特徵，而 Falcon 自己負責分離的核心模組，可訓練引數僅有 50 萬（0.5M）。

團隊還加入了一種編碼器空間的說話人對比損失，能在不增加任何推理開銷的前提下抑制近場聲音洩漏，即使干擾說話人離麥克風很近也能有效剝離。

效能、規格與怎麼跑起來

小體積換來了相當誇張的效率提升。和基準模型 AV-TF-GridNet 相比，Falcon 的可訓練引數量減少了 91.9%，計算量降低了約 20 倍，GPU 推理延遲縮短了 11 倍；即使對比同為 50 萬引數的輕量級模型 Swift-Net-12，它的 GPU 延遲也降低了約 70%，計算量減少約 77%。

在團隊同步開源的 RealSSA 真實場景評測基準，以及 LRS2、LRS3 和 VoxCeleb2 等公開測試中，Falcon 的分離指標均重新整理了最前沿表現。

除了基礎演算法模型，團隊還開源了配套應用 Falcon Studio。它不需要昂貴的伺服器，可以在本地筆記型電腦上直接跑起來，支援 NVIDIA GPU、蘋果 Apple Silicon（Metal）以及普通 CPU。

它的實用度在於打通了工作流：用筆記本自帶攝像頭追蹤面部嘴部，分離出的乾淨語音不僅能輸出到耳機，還能通過虛擬音訊裝置直接作為麥克風輸入送進騰訊會議或 Zoom。如果不打算本地部署，Hugging Face 上也提供了一個最長錄製 60 秒音訊分離的 ZeroGPU 線上 Demo。

為什麼重要

對經常在咖啡館、開放式工位或機場參加視訊會議的人來說，Falcon 提供了一個極佳的開箱即用方案。以往這類多模態降噪大多停留在論文裡的離線評測，而清華團隊把引數量壓縮到 50 萬，並做出了能接進騰訊會議和 Zoom 的 Falcon Studio，真正讓學術研究落地成了日常工具。此外，智慧眼鏡、語音 Agent 和服務機器人這類計算資源極其有限的邊緣硬體，也能借此低門檻獲得精準的定向拾音能力。

我們認為這套方案最聰明的地方在於算力分配：借用成熟的凍結視覺特徵，把自己的分離網路做到極致輕量化，做到了極低延遲。不過它也有天然的物理侷限：由於高度依賴視覺唇動對齊，如果使用者轉頭、鏡頭被遮擋或光線極差，分離效果就會打折扣。但就目前的桌面辦公和會議場景而言，它已經足夠讓人眼前一亮。