Metaが脳活動から画像をリアルタイム復元するAIを発表、MEG信号を活用

頭の中で思い浮かべた光景が、そのままディスプレイにリアルタイムで映し出される。そんなSF映画のような技術に、Metaが大きく一歩近づきました。

MetaのAI研究チームは10月18日、人間の脳活動データを解読し、見ている画像をほぼリアルタイムに再構成する新しいAIシステムを発表しました。非侵襲的な計測手法である脳磁図（MEG）を活用し、ミリ秒単位の精度で視覚処理のプロセスを画像化することに成功しています。

脳の信号を映像に変える3つの仕組み

脳活動からの画像復元といえば、これまでは機能的磁気共鳴画像法（fMRI）を使う手法が主流でした。しかしfMRIは数秒単位の血流変化を追うため、時間的な遅れが避けられません。一方でMEGは毎秒数千回もの脳磁場変化を測定できるため、いわば脳の高速ビデオカメラとして機能します。

Metaはこのシステムを3つのパートに分けて構築しました。まず画像エンコーダが、脳とは独立して画像の視覚的特徴を抽出します。次に脳エンコーダが、被験者の頭部から得られたMEG信号をその画像特徴量へとマッピングします。そして最後の画像デコーダが、その脳内表現をもとに目に見える画像を生成します。

研究チームは学術コンソーシアム「Things」が公開している健康なボランティアのMEGデータセットを使用してモデルを訓練しました。

興味深いのは、様々な画像処理モジュールを比較した結果、Metaの自己教師あり学習モデル「DINOv2」が最も人間の脳信号と一致したという点です。人手による正解ラベルなしで画像を学んだAIの人工ニューロンは、同じ画像を見たときの人間の物理的なニューロンと極めて似た活性化パターンを示していました。

大枠は捉えるが、細かい配置には課題も

もっとも、現時点で完璧な写真のような再現ができるわけではありません。

Meta自身も認めている通り、このシステムは「犬」「車」「人」といった高次のカテゴリ情報を捉える能力には長けています。被験者が何を見ているのか、大枠を外すことはほとんどありません。

一方で、個々の物体の正確な向きや配置といった低次のディテールに関しては、不正確な描画をしてしまうケースが目立ちます。既存のfMRIを使ったデコード結果と比べると、静止画としての鮮明さや位置の正確性では見劣りします。

それでも、ミリ秒単位で連続的に画像を生成し続けられる点は、MEGならではの大きな強みです。人間の脳が視覚刺激をどのように知覚し処理していくか、その移り変わりを途切れない映像のストリームとして観察できる道が開かれました。

なぜ重要か

今回の成果で私たちが最も評価すべきだと考えるのは、静止画の解像度競争から降りて、圧倒的な「速度」に賭けた点です。

ユーザー視点で見れば、今すぐ一般人が使えるガジェットになるわけではありません。MEG装置は依然として大型で高価です。しかし、脳卒中や脳損傷によって発話能力を失った患者にとって、これは外科手術で頭蓋骨に電極を埋め込む必要のない、安全な非侵襲ブレイン・マシン・インタフェース（BCI）の強力な足がかりになります。見るものや伝えたいイメージをリアルタイムで外部に出力できる未来は、医療現場に大きな希望を与えます。

AI業界にとっても、自己教師あり学習が人間の脳の認知構造に近づいているという実証データが得られた意味は小さくありません。ヤン・ルカン氏が推進するI-JEPAなどの世界モデル構想とも共鳴しており、単にデータを詰め込むのではなく、脳の表現様式を模倣したアーキテクチャこそが次世代の推論能力を生むという主張を裏付けています。

ただし、課題も明白です。今回のデコードは管理された同一の画像データセット内で対応付けを行っており、被験者が完全に自由な空想をした場合にどこまで破綻せずに描画できるかは未知数です。研究室の成果を実社会の通信インターフェースに落とし込むには、まだ長い道のりがあります。