清華大が「Falcon」公開：唇の動きから特定の話者の声をリアルタイム抽出

Falcon は、清華大学の研究チームがオープンソースで公開した音響・映像ターゲット話者抽出モデルだ。複数の人が同時に話す騒がしい環境でも、カメラが捉えた対象者の口元の動きを手がかりに、マイク入力からその人物の声だけをリアルタイムでクリアに分離・抽出する。

本研究は機械学習の国際学会 NeurIPS 2026 に採択されており、10 月 23 日に論文、コード、重みデータが GitHub および Hugging Face 上で公開された。

仕組みと何ができるのか

従来の音声分離 AI は音声データのみに頼ることが多く、複数人の声が重なったり残響が激しかったりすると目的の声を正確に追跡できない課題があった。Falcon はカメラの口元映像とマイクの音響信号を照合し、画面内で話している口元に対応する声だけを選択的に拾い上げる。

技術面では、小さな分離器を何度も反復適用する従来の手法を廃し、1 回のエンコーダ・デコーダ処理で多重スケールの時空間周波数を分離するアーキテクチャを採用した。口元の特徴抽出には固定された 11.2M パラメータの FRCNN バックボーンを利用し、Falcon 自体の学習可能パラメータ数はわずか 50 万（0.5M）に抑えられている。

さらに、推論コストを一切増やさずに近接する他者の声の混入を抑える話者対照損失を導入し、マイクのすぐ近くで他人が話していても声が漏れ込まない工夫が施されている。

性能とローカルでの動かし方

この徹底した軽量化により、推論効率は劇的に向上している。ベースラインの AV-TF-GridNet と比較して学習可能パラメータを 91.9% 削減し、計算量を約 20 倍抑制、GPU 推論遅延を 11 倍短縮した。同じく 50 万パラメータ規模の Swift-Net-12 と比較しても、計算量は約 77%、GPU 遅延は約 70% 削減されている。

チームが独自に構築・公開した実環境ベンチマーク RealSSA や、LRS2、LRS3、VoxCeleb2 などの主要テストでも最高水準の精度を記録した。

また、研究チームはノート PC 上で動く実用アプリ「Falcon Studio」も用意している。NVIDIA GPU や Apple Silicon（Metal）、さらには CPU 単体でも動作可能だ。Web カメラで口元を追尾しながら抽出したクリア音声を、仮想オーディオドライバ経由で Zoom や Tencent Meeting（テンセント会議）のマイク入力として直接流し込める。環境構築なしで試したい場合は、Hugging Face 上の ZeroGPU デモで手軽に体験できる。

なぜ重要か

カフェやコワーキングスペースなど、周囲が騒がしい場所からオンライン会議に参加するビジネスパーソンや開発者にとって、すぐに試す価値のある実践的ツールだ。音響と映像を組み合わせた話者分離技術はこれまでモデルサイズが巨大で、クラウドなしには動かないものが大半だったが、Falcon は 50 万パラメータという極小サイズで実用的なローカル動作を可能にした。

口元の視覚追従に頼るため、顔が画角から外れたり手で口元が隠れたりすると精度が落ちるという物理的制約はあるものの、スマートグラスやパーソナルロボットなど、低遅延と省電力が求められるエッジデバイス向けコンポーネントとしても今後の応用範囲は非常に広いと言える。