Meta FAIR 奪得 Algonauts 2025 冠軍:TRIBE 預測人腦反應
Meta FAIR 團隊憑藉 10 億引數模型 TRIBE 在 Algonauts 2025 大腦建模競賽中奪冠。該模型融合了 Llama 3.2 與 V-JEPA 2 等基礎模型,能跨模態預測受試者看電影時的大腦 fMRI 訊號變化。目前程式碼與論文均已開源。

TRIBE(Trimodal Brain Encoder)是 Meta FAIR 開源的 10 億引數大腦編碼器模型,拿下了 Algonauts 2025 大腦建模競賽的第一名。它能跨模態預測受試者在看電影時,大腦不同皮層區域的時空 fMRI 訊號變化。
怎麼做到的
TRIBE 的思路是直接把現成的大模型當成感知器官。它融合了 Meta 自家的三個基礎模型:文本理解用 Llama 3.2,音訊特徵提取用 Seamless 的 Wav2Vec2-BERT,視覺表徵則交給 V-JEPA 2。
模型訓練基於 Courtois NeuroMod 專案的資料集,包含了每位受試者長達 80 小時觀看電影時記錄的高精度時空 fMRI 訊號。這也是業界首個能在多種感官刺激、多個腦區以及不同個體之間同時完成預測的深度神經網路。
目前研究團隊已經在 GitHub 上放出了完整的模型程式碼,論文預印本也發在了 arXiv 上。
為什麼重要
腦科學以前做神經編碼預測,往往需要針對視覺或聽覺單獨設計專用網路,工程繁重且很難泛化。TRIBE 證明了直接拼裝現有多模態大模型的表徵,就能在大腦反應預測上拿下頂尖水準,這條路走得非常聰明。
我們認為,對從事神經計算、腦機介面和認知科學的研究者來說,這是一個現成的高質量基線。不過它主要針對連續影視刺激下的 fMRI 建模,普通開發者很難直接在消費級裝置上跑完海量神經影像,門檻依然在科研端。
來源 (1)
- @AIatMeta(在新分頁開啟)原文x.com