跳到正文
IFAI

AI科研

加州大学伯克利分校用 AI 解码脑电波:直接还原出一段 Pink Floyd 摇滚

首次发布 传播指数 34

加州大学伯克利分校研究人员利用 29 名癫痫患者听歌时的脑电波信号,训练 AI 重建了 Pink Floyd 的经典歌曲片段,声谱图相似度达 43%。这项研究揭示了大脑对音乐音调和节奏的处理方式,未来有望让语言障碍患者的语音合成设备告别机械音、听起来更像真人。

加州大学伯克利分校用 AI 解码脑电波:直接还原出一段 Pink Floyd 摇滚
图:newscientist.com

如果大脑正在听一首歌,能不能把脑电波直接「放」出来?

加州大学伯克利分校的研究团队做到了。他们让 29 位植入了颅内电极的癫痫患者戴上耳机,听英国摇滚乐队平克·弗洛伊德的名作《Another Brick in the Wall, Part 1》,然后用 AI 解码脑信号,成功还原出了一段听得清旋律和节奏的翻唱音频。

这篇发表在《PLOS Biology》上的研究,第一次证明了人类大脑在聆听复杂音乐时的神经活动,可以直接被机器学习模型翻译回声波。

43% 相似度:AI 如何从脑电波里「扒带」

这 29 位患者本身因为治疗癫痫,大脑表面提前通过手术植入了电极阵列。

当音乐响起时,研究人员记录下了他们大脑皮层的电活动。通过对比歌曲和脑信号,AI 找出了哪些电极专门负责对音高、旋律、和声以及节奏起反应。

为了检验模型是不是真的学会了解码,团队把歌曲里一段 15 秒的片段剔除出训练集,让 AI 纯靠这 15 秒对应的脑电波去猜音乐长什么样。

结果显示,AI 预测生成的音频频谱图,与真实歌曲片段的相似度达到了 43%。虽然重现的声音听起来像是在水下播放,带有一点模糊的电音感,但吉他扫弦的节奏和主唱的音调起伏都清晰可辨。

研究团队还在大脑的上颞回区域,精准锁定了一小块专门处理电吉他节奏的脑区。同时数据还证实,在处理音乐元素时,大脑右半球的活跃程度明显高于左半球。

谁的大脑,谁的版权?

这项技术更诱人的地方在于未来的双向解码。加州大学伯克利分校的研究员 Ludovic Bellier 指出,如果 AI 能解码耳朵听到的声音,未来就可能解码大脑凭空「想象」出来的旋律,甚至变成一种用意念写歌的工具。

但法律界已经闻到了麻烦的味道。华盛顿特区 Rothwell Figg 律所的律师 Jennifer Maisel 提出,脑波还原音乐一旦越做越逼真,就会立刻撞上版权侵权的问题。

更棘手的是作者身份的界定。脑波还原出来的音乐,作者究竟是记录脑信号的科学家、写算法的程序员,还是戴着电极听歌的患者?

Linklaters 律所的律师 Ceyhun Pehlivan 甚至指出,这可能取决于信号来自大脑的哪个部位。如果信号提取自负责被动接收声音的听觉皮层,它更像是一种生理反射;如果来自负责创造性思考的额叶皮层,性质又完全不同,法院未来很可能只能个案判定。

为什么重要

我们认为这项研究最大的价值,并不是让普通人躺着用脑波听歌,而是给发声障碍设备补上最后一块拼图。

目前的脑机接口已经能帮渐冻症或中风失语患者把思维转成文字,甚至驱动合成语音。但那些声音听起来都像冰冷的机器人,没有任何语调起伏,缺乏情绪表达。

这项实验证明了人类大脑是如何编码节奏、音高和旋律的。把这套机制吃透之后,未来的语音脑机接口就能把患者想要表达的语气、重音和情感一起翻译出来,让假肢般的合成器真正发出「人声」。

当然,这项技术短期内不可能普及到消费级场景。加州大学伯克利分校的 Robert Knight 教授直言,实验依赖的是侵入式开颅电极,健康的普通人不可能为了玩这个去给脑袋动手术。虽然现在有团队在尝试核磁共振等无创方案,但信号清晰度还有很长的路要走。

看起来,这项研究聪明的地方在于找准了音乐这个切入点:音乐包含了自然语言里最复杂的声学特征。只要 AI 能把一首摇滚乐从大脑皮层里扒出来,攻克人类日常说话的声调和重音,就只是时间问题了。

来源 (1)

  1. [1]
    newscientist.com(在新标签页打开)原文newscientist.com

每日 AI 内容精选