칭화대, 음성 추출 모델 Falcon 오픈소스 공개: 입모양 추적해 특정 목소리만 분리

Falcon은 칭화대 연구진이 오픈소스로 공개한 시청각 타깃 화자 분리(AVTSE) 모델이다. 시끄러운 다중 화자 환경에서 카메라가 비추는 대상의 입모양 움직임을 추적해, 마이크로 들어오는 소리 중 그 사람의 목소리만 실시간으로 깨끗하게 추출해 낸다.

이 연구는 NeurIPS 2026에 채택되었으며, 10월 23일 논문 공개와 함께 학습 코드와 사전 학습 가중치가 GitHub과 Hugging Face에 배포되었다.

어떤 기술이고 어떻게 작동하나

기존의 음성 AI는 오디오 신호에만 의존해 섞인 소리를 분리하려다 보니, 여러 사람의 목소리가 겹치거나 소음이 심하면 목표 화자를 놓치는 한계가 있었다. Falcon은 카메라에 잡힌 입술의 움직임과 마이크에 들어온 소리를 동기화해, 특정 입에서 나오는 음성만 골라 듣는다.

구조적으로는 작은 분리기를 반복 실행하는 비효율적인 방식 대신, 한 번의 인코더-디코더 패스만으로 다중 스케일 시간-주파수 분리를 끝내도록 설계했다. 입모양 추출에는 1,120만 파라미터 크기의 고정된 비주얼 백본을 활용하며, 실제 분리를 담당하는 Falcon 자체의 학습 파라미터는 50만 개(0.5M)에 불과하다.

여기에 인코더 공간 화자 대조 손실 기법을 도입해, 추론 시 추가적인 연산 비용 없이 마이크 가까이에서 들리는 주변 사람의 목소리 누출을 효과적으로 차단했다.

성능과 로컬 실행 방법

가벼운 구조 덕분에 처리 효율은 비약적으로 향상되었다. 기존 베이스라인인 AV-TF-GridNet 대비 학습 파라미터는 91.9% 줄었고, 연산량은 약 20배, GPU 추론 지연 시간은 11배 감소했다. 동일하게 50만 파라미터를 사용하는 Swift-Net-12와 비교해도 GPU 지연 시간은 약 70%, 연산량은 약 77% 줄어들었다.

연구팀이 함께 공개한 실제 음향 벤치마크 RealSSA와 LRS2, LRS3, VoxCeleb2 등의 데이터셋에서도 최상위권의 분리 성능을 기록했다.

연구팀은 사용자가 곧바로 써볼 수 있도록 데스크톱 앱인 Falcon Studio도 함께 공개했다. 일반 노트북에서 로컬 구동되며, NVIDIA GPU는 물론 Apple Silicon(Metal)과 일반 CPU 환경까지 지원한다. 웹캠으로 입모양을 인식해 분리된 음성을 가상 오디오 장치를 통해 Zoom이나 텐센트 회의의 마이크 입력으로 곧바로 연결할 수 있다. 설치가 번거롭다면 Hugging Face Space에서 ZeroGPU 기반 웹 데모를 이용해 볼 수도 있다.

왜 중요한가

소음이 심한 카페나 개방형 사무실에서 화상 회의를 자주 진행하는 이용자에게 매우 유용한 도구다. 그동안 비전과 오디오를 결합한 분리 모델은 연산량이 너무 무거워 연구실 밖의 개인 PC에서 실시간으로 쓰기 어려웠다. Falcon은 핵심 파라미터를 50만 개 수준으로 줄여 일반 노트북에서도 가볍게 돌릴 수 있게 만들었고, 줌과 텐센트 회의로 직결되는 실용적인 앱까지 완성해 냈다.

카메라가 입을 직접 봐야 하므로 얼굴을 돌리거나 입이 가려지면 분리 성능이 떨어진다는 물리적 한계는 분명하다. 하지만 시야가 확보되는 화상 회의는 물론, 향후 스마트 글래스나 로봇 같은 저전력 엣지 디바이스의 지향성 오디오 부품으로 확장될 잠재력이 크다는 점에서 주목할 만한 오픈소스 프로젝트다.