Meta 讀腦新突破:用腦磁圖即時重構眼睛看到的畫面
Meta 展示了一項 AI 系統,能通過非侵入式的腦磁圖(MEG)訊號每秒採集數千次腦電活動,即時重構出人眼看到的影像。該系統利用 DINOv2 視覺架構將腦訊號與影像特徵對齊。目前高層語義抓得很準,但細節方位仍有偏差。
科幻電影裡總有這樣的橋段:特工戴上一個頭盔,腦子裡剛想過什麼畫面,螢幕上就一幀一幀全播了出來。
Meta 現在的研究,正在把這種想像推向現實。10 月 18 日,Meta 基礎人工智慧研究團隊釋出了一項新進展,他們開發出了一套 AI 系統,能通過非侵入式的腦磁圖技術,在幾毫秒內解碼人腦的視覺活動,並即時重構出人眼正在看到的影像。
讀腦三步走:從腦電波到連環畫
這項技術的核心,是利用腦磁圖(MEG)來採集大腦活動。相比於以前大家常聽到的功能性磁共振成像(fMRI),MEG 最大的優勢就是快。fMRI 像是在給大腦拍高畫質靜止照片,成像精確但反應遲緩,延遲往往有好幾秒;而 MEG 每秒能記錄數千次磁場變化,相當於在給大腦拍毫秒級的高速錄影。
Meta 把這個解碼流程拆成了三塊積木。
第一塊是影像編碼器,它脫離人腦獨立工作,負責把給測試者看的一堆圖片提煉成複雜的機器表徵。
第二塊是腦編碼器,它負責充當翻譯官,拼命學習如何把志願者頭皮上測得的幾毫秒 MEG 訊號,精準對應到那些影像表徵上。
第三塊則是影像解碼器,拿到大腦特徵的對映後,直接反向生成一張人眼能看懂的逼真圖片。
整套系統使用的是學術聯盟 Things 公開的健康志願者資料集。而在對比了各種主流視覺模組後,研究人員發現了一個很有意思的現象:人腦的神經反應,和 Meta 自家的自監督視覺模型 DINOv2 契合度最高。
也就是說,完全沒經過人工打標籤、只靠自監督學習長大的 AI 模型,其人造神經元的啟用模式,竟然和人類大腦物理神經元的興奮方式高度相似。正是這種奇妙的同步性,讓 AI 拿捏住了人腦看世界的基本脈絡。
能分清大象和輪船,但細節經常擺爛
聽起來像讀心術,但它目前畫出來的東西,還遠談不上完美照相機。
Meta 團隊也很坦白地指出了短板。如果志願者看到的是一隻狗或者一列火車,AI 解碼出來的影像能很穩定地保留這類高層語義特徵。換句話說,它絕對知道你眼前有一隻動物或者一個交通工具。
但在低層細節上,AI 經常會胡思亂想。比如它可能會把畫面裡的物體放錯位置、把朝向搞反,或者乾脆把一隻斑點狗還原成另一種毛色的哺乳動物。
與依賴巨型磁體、行動受限的 fMRI 相比,MEG 生成的影像在細膩程度上確實不如前者精確。但 Meta 拿下的關鍵壁壘不是解析度,而是時間流。因為 MEG 可以在任意時刻連續工作,這意味著人類第一次有機會看到一個連續不斷從腦活動中吐出來的解碼畫面流。
為什麼重要
我們認為,這項研究最聰明的地方,在於 Meta 放棄了在靜態清晰度上和 fMRI 死磕,轉而押注在動態時間軸上。
對普通人來說,這套系統現在顯然沒法在家裡用,畢竟一臺醫用 MEG 裝置依然昂貴且龐大。但對於那些因腦損傷或中風而喪失語言能力的病患,這項研究意味著一條全新的無創腦機介面路線。如果未來不需要在顱骨上打孔插電極,只要戴上一頂輕便的感應帽子,就能把患者眼前的所見和腦中的意圖即時還原成影像或語音,其臨床價值是不可估量的。
對行業而言,這件事更深層的影響在於驗證了自監督學習的潛力。過去行業做視覺大模型嚴重依賴海量人工標註,而 Meta 藉著 DINOv2 和更早的 I-JEPA 證明,讓模型自己去理解環境結構,反而能學出最貼近人類大腦的抽象認知方式。這會逼著其他大模型團隊重新審視計算機視覺的底層路徑:模仿人腦的結構,可能比盲目堆砌引數更管用。
不過隱患也顯而易見。目前系統的訓練依然嚴重依賴預先給定的圖片基準庫,如果測試者腦子裡閃過一個前所未見的奇幻場景,這套三段式編碼器大機率會直接崩潰。從實驗室裡看圖還原的玩具,到真正能自由讀懂人類意識的通用介面,中間還隔著一道巨大的工程鴻溝。
來源 (3)
- ai.meta.com(在新分頁開啟)原文ai.meta.com
- siliconangle.com(在新分頁開啟)報導siliconangle.com
- the-decoder.com(在新分頁開啟)報導the-decoder.com