跳到正文
IFAI

AI科研

加州大學伯克利分校用 AI 解碼腦電波:直接還原出一段 Pink Floyd 搖滾

首次發布 傳播指數 34

加州大學伯克利分校研究人員利用 29 名癲癇患者聽歌時的腦電波訊號,訓練 AI 重建了 Pink Floyd 的經典歌曲片段,聲譜圖相似度達 43%。這項研究揭示了大腦對音樂音調和節奏的處理方式,未來有望讓語言障礙患者的語音合成裝置告別機械音、聽起來更像真人。

加州大學伯克利分校用 AI 解碼腦電波:直接還原出一段 Pink Floyd 搖滾
圖:newscientist.com

如果大腦正在聽一首歌,能不能把腦電波直接「放」出來?

加州大學伯克利分校的研究團隊做到了。他們讓 29 位植入了顱內電極的癲癇患者戴上耳機,聽英國搖滾樂隊平克·弗洛伊德的名作《Another Brick in the Wall, Part 1》,然後用 AI 解碼腦訊號,成功還原出了一段聽得清旋律和節奏的翻唱音訊。

這篇發表在《PLOS Biology》上的研究,第一次證明了人類大腦在聆聽複雜音樂時的神經活動,可以直接被機器學習模型翻譯回聲波。

43% 相似度:AI 如何從腦電波里「扒帶」

這 29 位患者本身因為治療癲癇,大腦表面提前通過手術植入了電極陣列。

當音樂響起時,研究人員記錄下了他們大腦皮層的電活動。通過對比歌曲和腦訊號,AI 找出了哪些電極專門負責對音高、旋律、和聲以及節奏起反應。

為了檢驗模型是不是真的學會了解碼,團隊把歌曲裡一段 15 秒的片段剔除出訓練集,讓 AI 純靠這 15 秒對應的腦電波去猜音樂長什麼樣。

結果顯示,AI 預測生成的音訊頻譜圖,與真實歌曲片段的相似度達到了 43%。雖然重現的聲音聽起來像是在水下播放,帶有一點模糊的電音感,但吉他掃弦的節奏和主唱的音調起伏都清晰可辨。

研究團隊還在大腦的上顳回區域,精準鎖定了一小塊專門處理電吉他節奏的腦區。同時資料還證實,在處理音樂元素時,大腦右半球的活躍程度明顯高於左半球。

誰的大腦,誰的版權?

這項技術更誘人的地方在於未來的雙向解碼。加州大學伯克利分校的研究員 Ludovic Bellier 指出,如果 AI 能解碼耳朵聽到的聲音,未來就可能解碼大腦憑空「想像」出來的旋律,甚至變成一種用意念寫歌的工具。

但法律界已經聞到了麻煩的味道。華盛頓特區 Rothwell Figg 律所的律師 Jennifer Maisel 提出,腦波還原音樂一旦越做越逼真,就會立刻撞上版權侵權的問題。

更棘手的是作者身份的界定。腦波還原出來的音樂,作者究竟是記錄腦訊號的科學家、寫演算法的程式設計師,還是戴著電極聽歌的患者?

Linklaters 律所的律師 Ceyhun Pehlivan 甚至指出,這可能取決於訊號來自大腦的哪個部位。如果訊號提取自負責被動接收聲音的聽覺皮層,它更像是一種生理反射;如果來自負責創造性思考的額葉皮層,性質又完全不同,法院未來很可能只能個案判定。

為什麼重要

我們認為這項研究最大的價值,並不是讓普通人躺著用腦波聽歌,而是給發聲障礙裝置補上最後一塊拼圖。

目前的腦機介面已經能幫漸凍症或中風失語患者把思維轉成文字,甚至驅動合成語音。但那些聲音聽起來都像冰冷的機器人,沒有任何語調起伏,缺乏情緒表達。

這項實驗證明了人類大腦是如何編碼節奏、音高和旋律的。把這套機制吃透之後,未來的語音腦機介面就能把患者想要表達的語氣、重音和情感一起翻譯出來,讓假肢般的合成器真正發出「人聲」。

當然,這項技術短期內不可能普及到消費級場景。加州大學伯克利分校的 Robert Knight 教授直言,實驗依賴的是侵入式開顱電極,健康的普通人不可能為了玩這個去給腦袋動手術。雖然現在有團隊在嘗試核磁共振等無創方案,但訊號清晰度還有很長的路要走。

看起來,這項研究聰明的地方在於找準了音樂這個切入點:音樂包含了自然語言裡最複雜的聲學特徵。只要 AI 能把一首搖滾樂從大腦皮層裡扒出來,攻克人類日常說話的聲調和重音,就只是時間問題了。

來源 (1)

  1. [1]
    newscientist.com(在新分頁開啟)原文newscientist.com

每日 AI 內容精選