상대방 3초만 바라보면 끝, 소음 속 특정 목소리만 골라 듣는 AI 헤드폰

시끄러운 식당이나 카페에서 상대방의 이야기를 들으려 귀를 기울여본 경험은 누구에게나 있습니다. 기존 노이즈 캔슬링 이어폰은 주변 소음을 지우는 데는 탁월하지만, 내가 듣고 싶은 특정 사람의 목소리만 골라 들려주지는 못합니다.

미국 워싱턴대학교 연구진이 이 문제를 해결할 수 있는 인공지능 기반 오디오 시스템 타깃 스피치 히어링을 선보였습니다. 상대방을 3초에서 5초 동안 바라보는 것만으로 그 사람의 목소리를 등록해 다른 소음은 지우고 해당 목소리만 실시간으로 들려주는 기술입니다.

연구팀은 지난 5월 14일 호놀룰루에서 열린 인간-컴퓨터 상호작용 학술대회 ACM CHI에서 이 연구를 발표했습니다. 개념 검증용 코드는 공개되었으며, 상용화 제품은 아직 출시되지 않았습니다.

한 번 바라보면 고개를 돌려도 목소리 추적

사용법은 간단합니다. 마이크가 부착된 헤드폰을 착용하고 말을 하고 있는 대상을 향해 고개를 돌린 뒤 버튼을 한 번 누르면 됩니다.

말하는 사람의 음파가 헤드폰 양쪽 마이크에 동시에 도달하면 시스템이 음성 패턴을 등록합니다. 16도 정도의 오차 범위를 허용하므로 지나치게 정확하게 조준할 필요는 없습니다.

신호는 장치에 내장된 컴퓨터로 전달되어 머신러닝 알고리즘이 원하는 화자의 목소리 특성을 학습합니다. 등록이 끝나면 주변의 다른 대화 소리와 잡음은 사라지고 목표 화자의 음성만 실시간으로 재생됩니다.

가장 인상적인 대목은 등록 이후입니다. 사용자가 고개를 돌리거나 다른 곳으로 이동하더라도 AI가 계속해서 그 사람의 음성을 분리해 냅니다. 상대방이 말을 계속할수록 학습 데이터가 늘어나 음성 집중도는 더 정교해집니다.

21명의 피험자를 대상으로 진행한 실험에서 참가자들은 필터링된 음성의 선명도를 원본보다 평균 두 배 가까이 높게 평가했습니다.

청각 보조 기기로의 확장과 명확한 한계

이번 연구는 사용자가 새소리나 음성 등 특정 소리 범주를 골라 듣던 연구팀의 기존 시맨틱 히어링 연구를 한 단계 발전시킨 결과물입니다.

다만 일상에서 쓰기에는 아직 몇 가지 제약이 따릅니다. 현재 버전에서는 한 번에 한 명의 목소리만 등록할 수 있어 다자간 대화에는 활용하기 어렵습니다.

또한 목표 화자와 같은 방향에서 다른 사람이 큰 소리로 말하고 있으면 등록에 실패할 수 있습니다. 음질이 만족스럽지 않을 때는 다시 버튼을 눌러 재등록해야 합니다.

연구팀은 향후 이 시스템을 소형 무선 이어폰과 보청기 형태의 기기로 확장할 계획입니다.

왜 중요한가

우리는 이 연구가 오디오 하드웨어 분야에서 가장 실용적인 AI 활용 사례 중 하나라고 생각합니다. 소음을 무조건 없애는 기술은 이미 정점에 도달했고, 이제는 어떤 소리를 취사선택해 들을 것인가가 차별화 요소가 되었기 때문입니다.

이 기술이 상용화될 경우 가장 큰 혜택을 볼 대상은 난청 환자나 보청기 착용자입니다. 시끄러운 환경에서 주변 소음까지 통째로 증폭시키는 기존 보청기의 고질적인 단점을 해결해 줄 수 있습니다.

애플이나 소니 같은 이어폰 제조사들 역시 향후 제품 경쟁의 방향을 잡는 데 중요한 참고점이 될 것으로 보입니다. 이제는 단순히 데시벨을 낮추는 경쟁이 아니라 사용자의 청각적 인지를 실시간으로 돕는 온디바이스 AI 성능이 핵심 경쟁력이 될 것입니다.

다만 현재는 외장 임베디드 컴퓨터에 의존하고 있어, 배터리와 크기 제약이 극심한 소형 무선 이어폰 내부 칩셋에 실시간 음성 분리 모델을 온전히 집어넣는 하드웨어 경량화가 여전한 숙제로 보입니다.