跳到正文
IFAI

AI科研

華盛頓大學研發 AI 耳機:看對方几秒,嘈雜人群中就只聽他說話

首次發布 傳播指數 34

據華盛頓大學訊息,研究團隊開發出 Target Speech Hearing 系統。佩戴者只需看著目標說話者 3 至 5 秒,系統就能鎖定其聲紋並即時消除環境噪聲,即便走動或轉頭也能持續清晰收聽。該系統尚未商用,目前僅支援單人註冊。

圖:washington.edu

在喧鬧的酒吧或聚會上,我們常遇到這種尷尬:對面的人明明在衝你說話,你卻只能聽到滿屋子的嗡嗡聲,連猜帶蒙地點頭。

現在的降噪耳機確實能把世界靜音。比如 AirPods Pro 懂得在你開口時調低音樂,但它沒法替你挑出到底該聽誰的聲音。

華盛頓大學的研究團隊想出了一個挺巧妙的辦法。他們做了一套叫 Target Speech Hearing 的 AI 系統,只要你戴著耳機看向對方三到五秒,就能鎖定他的聲音。

盯住三秒,世界立刻安靜了

這套系統的用法其實很符合直覺。戴上裝有麥克風的改裝耳機,當你看著正在說話的人時,按一下耳機上的按鈕。

只要對方的聲音同時到達耳機兩端的麥克風,系統就會自動抓取他的聲紋特徵。這裡的瞄準甚至允許 16 度的角度偏差,不需要你像狙擊手一樣死死盯住。

耳機把音訊傳給隨身攜帶的嵌入式微型計算裝置,上面的機器學習演算法幾秒內就能完成註冊。隨後,環境裡其他人的交談聲和背景噪音全被抹掉,只剩下目標說話者的聲音。

最厲害的是,一旦鎖定,你就可以轉頭、走開甚至背對對方。AI 會像追蹤雷達一樣,在嘈雜環境裡持續提取他的聲波,而且對方說得越多,系統的捕捉效果反而越好。

團隊找來 21 位受試者做了測試,大家對過濾後目標聲音的清晰度評價,平均達到了未過濾音訊的近兩倍。

能聽清了,但限制依然不少

這套系統目前還只是個原型,開源了程式碼,並沒有做成消費級產品。

它現在也存在明顯的短板。比如一次只能鎖定一個人的聲音,沒法應付三四個人圍坐討論的場景。

另外,如果正對著你的方向,正好有另一個人也在大聲說話,系統就會犯糊塗,無法成功註冊。要是覺得音質不夠好,你還得再按一次按鈕重新對準採錄一遍。

負責該專案的華盛頓大學教授 Shyam Gollakota 解釋,團隊之前的研究叫語義聽覺,能讓使用者選擇聽鳥鳴還是人聲。而這次的突破,是直接讓 AI 按照個人意願,即時重塑聽覺感官。

團隊接下來打算把這套演算法塞進更小巧的入耳式耳機和助聽器裡。

為什麼重要

我們認為這項研究找準了音訊硬體最難啃的一塊骨頭。降噪技術發展了這麼多年,做單純的靜音已經到頭了,難的是如何聰明地讓該進來的聲音進來。

對於聽障人士或輕度聽力受損者來說,這種技術一旦落地,甚至可能顛覆傳統助聽器。目前的助聽器多半是無差別放大聲音,在吵鬧環境下極其刺耳,而按需提取特定人聲才是真正的人性化需求。

對蘋果、索尼等硬體大廠來說,這指明瞭一條新賽道。未來的降噪耳機競爭不再只是比拼降噪分貝數,而是看誰的端側模型能更快、更精準地做聲源分離。

看起來它的產品化隱患依然在算力和體積上。目前它還需要外接嵌入式計算機,想要縮減到普通無線耳機的超小晶片和微弱電池裡,即時跑完聲紋分析和降噪,工程挑戰依然非常大。

來源 (1)

  1. [1]
    washington.edu(在新分頁開啟)原文washington.edu

每日 AI 內容精選