脳波を本人の声へ即時変換：UCバークレーなどが1秒未満の音声合成AIを開発

頭の中では言いたい言葉がはっきりと組み立っているのに、声が出せない。しかも従来の脳波解読デバイスでは、ひとこと発話されるまでに長い沈黙を耐えなければなりませんでした。

カリフォルニア大学バークレー校とサンフランシスコ校の研究チームが、その壁を打ち破る成果を発表しました。学術誌『Nature Neuroscience』に掲載された研究によると、脳信号をリアルタイムに音声へ変換し、患者本人が麻痺前に持っていた肉声で話せるシステムを開発しました。

思考ではなく「発話の運動指令」を解読する

脳信号から声を出すと聞くと「心を読まれるのでは」と不安に感じるかもしれません。しかし今回の技術は読心術とは異なります。

共著者の Cheol Jun Cho 氏によれば、システムが解読しているのは「何を話すか決め、声道をどう動かすか指示を出した直後」の段階です。プライベートな思考そのものではなく、運動野から送られる発声の指令を捉えています。

学習時には、画面に表示された単語を患者が無音で発音しようとする際の脳活動を記録し、AI にそのパターンを学習させました。

さらに患者が麻痺を負う前の音声データを用いて音声合成モデルを作成しており、出力される音声は機械的なトーンではなく、本人の生前の声そのものです。

8 秒から 1 秒未満へ、スマートスピーカーの技術を応用

今回の最大のハイライトは処理速度の大幅な短縮です。共同主任研究員の Gopala Anumanchipalli 助教は、Siri や Alexa などのスマートスピーカーで使われている音声ストリーミング解読アルゴリズムを神経補綴に応用したと説明しています。

同チームが 2023 年に行った先行研究では、患者が話そうとしてから声が出るまでに約 8 秒かかっていました。今回のストリーミング手法では、その遅延が 1 秒未満へと一気に縮まり、ほぼリアルタイムの発話が実現しました。

対応するハードウェアの幅広さも強みです。脳表面の高密度電極アレイだけでなく、刺入型マイクロ電極や、顔の筋肉の動きを捉える非侵襲の表面筋電図（sEMG）センサーでも動作します。

なぜ重要か

ALS（筋萎縮性側索硬化症）や重度麻痺の患者にとって、会話の遅延が 1 秒を切ることは、単なる伝達手段以上の意味を持ちます。従来の 8 秒待ちでは相づちすら打てず会話から孤立していましたが、ほぼ同期して自分の声で話せるようになれば、人間らしい日常的なコミュニケーションが取り戻せます。

産業的な観点でも、今回の研究は極めて現実的だと私たちは考えます。電極のピン数を増やす侵襲性の高いハードウェア開発だけに頼るのではなく、AI 側のストリーミング処理を洗練させることで、非侵襲センサーでも動く柔軟性を確保した点は実用化への近道です。

一方で課題も残されています。デモ段階の音声は完全に自然なリズムや抑揚には至っておらず、感情表現の豊かさにはまだ改善の余地があります。チームも今後は処理のさらなる高速化と表現力の向上を目指すとしており、臨床現場でどこまで安定して使えるかが次の焦点になります。