單枚腦植入物同時解碼語音與手勢：癱瘓患者借虛擬化身即時表達

平時我們跟人聊天，從來不只是動動嘴皮子。手勢比劃、點頭搖頭，甚至挑眉，全都是交流的一部分。但對於因中風或漸凍症導致全身癱瘓的人來說，以往的腦機介面往往只能做單選題：要麼專注解碼腦電波打字，要麼費勁去挪動一個螢幕游標，根本談不上自然表達。

加州大學舊金山分校（UCSF）的研究團隊最近在《自然-神經科學》發表了一項新成果。他們用一塊貼在大腦表面的植入物，首次實現了同時解碼癱瘓患者的言語意圖和肢體手勢，還能即時驅動一個專屬的全身虛擬分身。

邊說話邊比劃，腦訊號為什麼會打架

這項實驗招募了三位嚴重癱瘓的受試者，其中兩人經歷過腦幹中風，一人患有肌萎縮側索硬化症（ALS）。研究人員在他們的感覺運動皮層表面，植入了一塊包含 253 個電極的高密度皮層腦電（ECoG）網格陣列。

過去學術界大多把說話和做動作分開解碼，原因很簡單：一旦大腦同時發出多種指令，神經訊號就會出現非線性變化甚至相互干擾。如果你只拿「單純說話」或「單純動手」的資料去訓練模型，患者只要一嘗試「邊說邊比劃」，解碼演算法立刻就會抓瞎。

UCSF 團隊的做法是搭建了並行的機器學習解碼器，一個專門盯言語發音，另一個專門盯肢體手勢。最關鍵的是，他們在模型訓練時混合了獨立動作和並發動作的神經資料，讓系統提前學會應對這種訊號重疊。

效果非常亮眼。在即時測試中，系統能一邊把患者想說的話轉成文本，一邊讓螢幕上的虛擬化身做出對應的手勢。其中一位受試者的手勢解碼準確率達到 85%，言語準確率達到 75%；另一位受試者在連續三個測試塊中，兩項的中位數準確率甚至雙雙達到了 100%。

為什麼重要

對重度癱瘓患者來說，這項研究最大的價值在於「尊嚴與完整表達」。以往的腦機介面把人簡化成了一個文字發生器，而現在患者開始擁有一個可以同步表達情緒、語調和體態動作的數字身體。不過我們覺得普通患者現在還不必過分樂觀，這次測試使用的詞彙庫和手勢種類依然高度受控且規模較小，真要走到日常自由對話，演算法的泛化能力還需要打磨好一陣子。

對腦機介面行業而言，這篇論文解決了一個關鍵工程路線問題：多模態表達到底需不需要在大腦各處打很多孔。UCSF 證明了僅憑覆蓋感覺運動皮層的一塊單一陣列，就能同時提取出聲道和肢體的高質量訊號。這為後續臨床減少手術創傷、降低感染風險指明瞭非常實用的路徑。

我們認為這項研究聰明的地方在於正視了人機互動的真實場景，不再為了刷高單項準確率而把人限制在單一動作裡。但它的潛在隱患依然存在：當未來詞彙量擴大到幾萬詞、動作變得更加細膩繁雜時，單一皮層腦電陣列的物理解析度會不會撞上天花板，可能才是接下來最硬的一塊骨頭。