脳波からPink Floydの楽曲を復元、UCバークレーがAI研究を発表

頭の中で聴いている音楽を、脳波からそのまま再生することはできるのか。

カリフォルニア大学バークレー校の研究チームが、まさにそれを実現しました。頭蓋内に電極を埋め込んだてんかん患者29人にピンク・フロイドの名曲「Another Brick in the Wall, Part 1」を聴かせ、その脳活動データをAIで解析したところ、メロディやリズムを認識できるレベルの音声を復元することに成功しました。

本研究は学術誌「PLOS Biology」に掲載され、複雑な音楽に対する脳の神経活動を機械学習で音声波形に再構成できることを示しました。

43%の一致度：脳波からギターのリズムを抽出

実験に参加した29人の患者は、てんかん治療の一環として脳の表面に電極を外科手術で配置していました。

被験者が楽曲を聴いている間、研究チームは電極データを記録し、ピッチやメロディ、ハーモニー、リズムといった音楽的要素に強く反応する部位を特定しました。その結果、上側頭回と呼ばれる領域の一部がギターのリズムを処理していることや、右半球が音楽処理において主導的な役割を果たしていることが確認されました。

AIの精度を検証するため、研究チームは楽曲内の15秒間のクリップを学習データから除外しました。その上で、被験者がその15秒間を聴いていたときの脳活動データだけをAIに与えて楽曲を予測させました。

生成された音声のスペクトログラムは、元の楽曲と43%の類似度を示しました。復元された音は水中で鳴っているかのように少しこもっているものの、ボーカルの音程やギターのリズムははっきりと聞き取れます。

著作権者は誰なのかという新たな火種

研究チームのリュドヴィク・ベリエ氏は、この技術が進歩すれば、人間が実際に聴いている音だけでなく、頭の中で「想像している音楽」を解読して作曲に利用できる可能性すらあると語っています。

一方で、法的な議論も始まっています。米法律事務所Rothwell Figgのジェニファー・メイゼル弁護士は、脳波から生成された音楽が原曲に酷似している場合、著作権侵害の懸念が生じると指摘します。さらに、その音声の著作者が脳波を記録した研究者なのか、AIプログラムなのか、音楽を聴いた被験者なのかという新たな課題も浮かび上がります。

法律事務所Linklatersのセイフン・ペリヴァン弁護士は、信号が取り出された脳の部位によっても法的な判断が変わる可能性があると指摘します。受動的な聴覚野からの出力なのか、創造的思考を担う前頭葉からの出力なのかによって、司法判断が分かれるという見方です。

なぜ重要か

この研究の真の価値は、脳波で音楽を聴くガジェットを作ることではなく、重度の言語障害を抱える人々の発話支援デバイスを根本から変える点にあります。

筋萎縮性側索硬化症（ALS）や失語症の患者向けに脳活動からテキストを生成する技術はすでに存在しますが、合成音声は機械的で感情が抜け落ちがちでした。話し言葉のトーンやリズム、抑揚といった音楽的要素を脳がどう処理しているかを解明できれば、より人間らしく感情豊かな声で会話できる機器が作れるようになります。

もちろん、侵入型の電極埋め込みが必要な手法であるため、健常者向けの一般製品にそのまま応用されることは考えにくいと研究者自身も述べています。MRIなどの非侵襲的な手法を使った研究も進んでいますが、手軽に扱えるレベルにはまだ遠いのが実情です。

私たちは、言語ではなくあえて「音楽」を解読の対象に選んだアプローチが非常に巧みだったと考えています。音楽は言語よりも音響的に複雑な要素が詰まっています。ロックバンドの楽曲を脳信号からここまで復元できたという事実は、人間の肉声に含まれる感情やニュアンスの解読が大きく前進したことを意味しています。