跳到正文
IFAI

AI科研

华盛顿大学研发 AI 耳机:看对方几秒,嘈杂人群中就只听他说话

首次发布 传播指数 34

据华盛顿大学消息,研究团队开发出 Target Speech Hearing 系统。佩戴者只需看着目标说话者 3 至 5 秒,系统就能锁定其声纹并实时消除环境噪声,即便走动或转头也能持续清晰收听。该系统尚未商用,目前仅支持单人注册。

图:washington.edu

在喧闹的酒吧或聚会上,我们常遇到这种尴尬:对面的人明明在冲你说话,你却只能听到满屋子的嗡嗡声,连猜带蒙地点头。

现在的降噪耳机确实能把世界静音。比如 AirPods Pro 懂得在你开口时调低音乐,但它没法替你挑出到底该听谁的声音。

华盛顿大学的研究团队想出了一个挺巧妙的办法。他们做了一套叫 Target Speech Hearing 的 AI 系统,只要你戴着耳机看向对方三到五秒,就能锁定他的声音。

盯住三秒,世界立刻安静了

这套系统的用法其实很符合直觉。戴上装有麦克风的改装耳机,当你看着正在说话的人时,按一下耳机上的按钮。

只要对方的声音同时到达耳机两端的麦克风,系统就会自动抓取他的声纹特征。这里的瞄准甚至允许 16 度的角度偏差,不需要你像狙击手一样死死盯住。

耳机把音频传给随身携带的嵌入式微型计算设备,上面的机器学习算法几秒内就能完成注册。随后,环境里其他人的交谈声和背景噪音全被抹掉,只剩下目标说话者的声音。

最厉害的是,一旦锁定,你就可以转头、走开甚至背对对方。AI 会像追踪雷达一样,在嘈杂环境里持续提取他的声波,而且对方说得越多,系统的捕捉效果反而越好。

团队找来 21 位受试者做了测试,大家对过滤后目标声音的清晰度评价,平均达到了未过滤音频的近两倍。

能听清了,但限制依然不少

这套系统目前还只是个原型,开源了代码,并没有做成消费级产品。

它现在也存在明显的短板。比如一次只能锁定一个人的声音,没法应付三四个人围坐讨论的场景。

另外,如果正对着你的方向,正好有另一个人也在大声说话,系统就会犯糊涂,无法成功注册。要是觉得音质不够好,你还得再按一次按钮重新对准采录一遍。

负责该项目的华盛顿大学教授 Shyam Gollakota 解释,团队之前的研究叫语义听觉,能让用户选择听鸟鸣还是人声。而这次的突破,是直接让 AI 按照个人意愿,实时重塑听觉感官。

团队接下来打算把这套算法塞进更小巧的入耳式耳机和助听器里。

为什么重要

我们认为这项研究找准了音频硬件最难啃的一块骨头。降噪技术发展了这么多年,做单纯的静音已经到头了,难的是如何聪明地让该进来的声音进来。

对于听障人士或轻度听力受损者来说,这种技术一旦落地,甚至可能颠覆传统助听器。目前的助听器多半是无差别放大声音,在吵闹环境下极其刺耳,而按需提取特定人声才是真正的人性化需求。

对苹果、索尼等硬件大厂来说,这指明了一条新赛道。未来的降噪耳机竞争不再只是比拼降噪分贝数,而是看谁的端侧模型能更快、更精准地做声源分离。

看起来它的产品化隐患依然在算力和体积上。目前它还需要外接嵌入式计算机,想要缩减到普通无线耳机的超小芯片和微弱电池里,实时跑完声纹分析和降噪,工程挑战依然非常大。

来源 (1)

  1. [1]
    washington.edu(在新标签页打开)原文washington.edu

每日 AI 内容精选