Metaが脳活動から画像をリアルタイム復元するAIを発表、MEG信号を活用
Metaの研究チームは非侵入型の脳磁図(MEG)データから人間が見ている画像をリアルタイムに復元するAIを発表した。DINOv2などの視覚モデルと脳信号を照合して描画する。物体の種類の認識精度は高いものの、細かな位置や向きの再現にはまだ課題が残る。
Metaの研究チームは非侵入型の脳磁図(MEG)データから人間が見ている画像をリアルタイムに復元するAIを発表した。DINOv2などの視覚モデルと脳信号を照合して描画する。物体の種類の認識精度は高いものの、細かな位置や向きの再現にはまだ課題が残る。
Metaは自己教師あり学習の視覚モデル「DINOv2」をApache 2.0ライセンスへ変更し、商用利用を解禁した。セグメンテーションなどの派生モデルに加え、視覚モデルの偏りや公平性を測定する3.2万枚規模の評価用データセット「FACET」もあわせて提供する。
Meta AIは自己教師あり学習を採用した画像認識モデル「DINOv2」をオープンソース公開した。テキストキャプションやラベル付けデータに依存せず、ファインチューニングなしで分類やセグメンテーション、深度推定など多彩な視覚タスクの汎用バックボーンとして活用できる。