跳到正文
IFAI

AI科研

腦機介面新突破:AI 將腦電波轉為原聲語音,延遲降至 1 秒內

首次發布 傳播指數 47

本週發表在《自然·神經科學》的一項研究顯示,加州大學伯克利分校與舊金山分校團隊研發出新型腦機介面系統。該系統結合流式 AI 演算法與腦皮層感測器,患者默唸時能在 1 秒內直接合成其受傷前的原聲,此前同類技術需延遲 8 秒。

圖:youtube.com

想像一下,你想說一句話,腦子裡已經把字句編排好了,但身體卻完全無法把聲音發出來。更折磨人的是,哪怕接上最新的腦機介面裝置,你說一句話也得等上好幾秒,機器才能像打字機一樣笨拙地吐出幾個機械音。

加利福尼亞大學伯克利分校和舊金山分校的研究人員最近打破了這個僵局。他們在《自然·神經科學》發表了一項新技術,把腦電波解碼成語音的延遲從以前的 8 秒直接壓縮到了 1 秒以內,而且是用患者自己生病前的原聲即時說出來。

解碼的不是讀心術,而是發音動作

很多人一聽腦機介面說話,第一反應是機器在讀取大腦裡的隱私想法。但這項研究完全不是在搞讀心術。

論文合著者 Cheol Jun Cho 解釋得很清楚,系統解碼的節點在思考完成之後。也就是說,是大腦已經想好了要說什麼詞、並且開始向聲道肌肉傳送運動指令的那一瞬間。

研究團隊把神經假體接入患者大腦控制言語生成的運動皮層。訓練 AI 時,讓患者看著螢幕上的詞彙,在腦海裡默默嘗試發聲。AI 藉此把特定的神經訊號特徵和目標詞彙對應起來。

至於聲音本身,團隊找來了患者癱瘓前錄製的聲音樣本,訓練了一個個性化的文本轉語音模型。這樣輸出的聲音不是冰冷的電子音,而是他們原本的聲音。

像 Siri 和 Alexa 那樣的流式傳輸

這項研究最大的突破在於速度。聯合首席研究員 Gopala Anumanchipalli 表示,他們把類似智慧音箱裡的流式語音解碼演算法搬到了神經假體上,第一次實現了近乎同步的語音流式輸出。

在 2023 年的上一代研究裡,系統端到端需要約 8 秒的漫長等待,交流根本談不上自然。現在,患者動念想說話到聲音播出來的延遲被壓到了 1 秒內,雖然節奏和語調還沒做到完全自然,但流暢度已經有了質的飛躍。

而且這種演算法不挑裝置。它不僅支援貼在腦表面的高密度電極陣列,也能適配穿透式微電極,甚至還能相容貼在臉部、完全無創的面部表面肌電感測器。

為什麼重要

對漸凍症(ALS)和嚴重癱瘓患者來說,這種技術帶來的不僅是溝通工具,更是做回自己的尊嚴。以前的輔助溝通裝置要麼靠眼球追蹤一個個拼字母,要麼等機器長考吐字,對話節奏支離破碎;現在能用自己的真實聲音在 1 秒內接上話,意味著他們能真正重新融入家庭對話和日常社交。

對腦機介面行業來說,我們認為這篇論文指出了一條非常聰明的落地路徑。很多團隊都在死磕電極材料和植入通道數量,試圖用更極端的硬體採集更多訊號;而伯克利團隊把重心放在了軟體演算法的流式解碼上,用更高效的 AI 模型在現有硬體上榨出即時性,甚至還能向下相容無創肌電感測器。

不過隱患和挑戰也很明顯。目前的聲音輸出依然缺乏情緒起伏和語調變化,聽起來依然略顯平淡。研究團隊也坦言,下一步的核心就是繼續壓低延遲並增強語音的表現力。而且要從實驗室走入常態化日常使用,系統的抗干擾能力和長期穩定性依然有待考驗。

來源 (2)

  1. [1]
    studyfinds.org(在新分頁開啟)原文studyfinds.org
  2. [2]

每日 AI 內容精選