清華大が「Falcon」公開：唇の動きから特定の話者の声をリアルタイム抽出
清華大学の研究チームが話者抽出モデル「Falcon」をオープンソース公開した。カメラの口元映像と音声を連動させ、騒音下でも狙った人物の声だけをリアルタイム抽出する。付属の Falcon Studio をノート PC で動かせば、Zoom や Tencent Meeting に直接クリアな音声を流せる。
清華大学の研究チームが話者抽出モデル「Falcon」をオープンソース公開した。カメラの口元映像と音声を連動させ、騒音下でも狙った人物の声だけをリアルタイム抽出する。付属の Falcon Studio をノート PC で動かせば、Zoom や Tencent Meeting に直接クリアな音声を流せる。