跳到正文
IFAI

AI科研

脑机接口新突破:AI 将脑电波转为原声语音,延迟降至 1 秒内

首次发布 传播指数 47

本周发表在《自然·神经科学》的一项研究显示,加州大学伯克利分校与旧金山分校团队研发出新型脑机接口系统。该系统结合流式 AI 算法与脑皮层传感器,患者默念时能在 1 秒内直接合成其受伤前的原声,此前同类技术需延迟 8 秒。

图:youtube.com

想象一下,你想说一句话,脑子里已经把字句编排好了,但身体却完全无法把声音发出来。更折磨人的是,哪怕接上最新的脑机接口设备,你说一句话也得等上好几秒,机器才能像打字机一样笨拙地吐出几个机械音。

加利福尼亚大学伯克利分校和旧金山分校的研究人员最近打破了这个僵局。他们在《自然·神经科学》发表了一项新技术,把脑电波解码成语音的延迟从以前的 8 秒直接压缩到了 1 秒以内,而且是用患者自己生病前的原声实时说出来。

解码的不是读心术,而是发音动作

很多人一听脑机接口说话,第一反应是机器在读取大脑里的隐私想法。但这项研究完全不是在搞读心术。

论文合著者 Cheol Jun Cho 解释得很清楚,系统解码的节点在思考完成之后。也就是说,是大脑已经想好了要说什么词、并且开始向声道肌肉发送运动指令的那一瞬间。

研究团队把神经假体接入患者大脑控制言语生成的运动皮层。训练 AI 时,让患者看着屏幕上的词汇,在脑海里默默尝试发声。AI 借此把特定的神经信号特征和目标词汇对应起来。

至于声音本身,团队找来了患者瘫痪前录制的声音样本,训练了一个个性化的文本转语音模型。这样输出的声音不是冰冷的电子音,而是他们原本的声音。

像 Siri 和 Alexa 那样的流式传输

这项研究最大的突破在于速度。联合首席研究员 Gopala Anumanchipalli 表示,他们把类似智能音箱里的流式语音解码算法搬到了神经假体上,第一次实现了近乎同步的语音流式输出。

在 2023 年的上一代研究里,系统端到端需要约 8 秒的漫长等待,交流根本谈不上自然。现在,患者动念想说话到声音播出来的延迟被压到了 1 秒内,虽然节奏和语调还没做到完全自然,但流畅度已经有了质的飞跃。

而且这种算法不挑设备。它不仅支持贴在脑表面的高密度电极阵列,也能适配穿透式微电极,甚至还能兼容贴在脸部、完全无创的面部表面肌电传感器。

为什么重要

对渐冻症(ALS)和严重瘫痪患者来说,这种技术带来的不仅是沟通工具,更是做回自己的尊严。以前的辅助沟通设备要么靠眼球追踪一个个拼字母,要么等机器长考吐字,对话节奏支离破碎;现在能用自己的真实声音在 1 秒内接上话,意味着他们能真正重新融入家庭对话和日常社交。

对脑机接口行业来说,我们认为这篇论文指出了一条非常聪明的落地路径。很多团队都在死磕电极材料和植入通道数量,试图用更极端的硬件采集更多信号;而伯克利团队把重心放在了软件算法的流式解码上,用更高效的 AI 模型在现有硬件上榨出实时性,甚至还能向下兼容无创肌电传感器。

不过隐患和挑战也很明显。目前的声音输出依然缺乏情绪起伏和语调变化,听起来依然略显平淡。研究团队也坦言,下一步的核心就是继续压低延迟并增强语音的表现力。而且要从实验室走入常态化日常使用,系统的抗干扰能力和长期稳定性依然有待考验。

来源 (2)

  1. [1]
    studyfinds.org(在新标签页打开)原文studyfinds.org
  2. [2]

每日 AI 内容精选