메타 FAIR, 뇌 모델링 대회 '알고노츠 2025' 우승…TRIBE 모델 공개

TRIBE(Trimodal Brain Encoder)는 메타 FAIR의 Brain & AI 팀이 공개한 10억 파라미터 규모의 뇌 인코더 모델로, 국제 뇌 모델링 대회 '알고노츠 2025'에서 1위를 차지했습니다. 사람이 영화를 볼 때 대뇌 피질 여러 영역에서 발생하는 복합적인 시공간 fMRI 반응을 정밀하게 예측합니다.

작동 원리

TRIBE는 감각 특징 추출기를 밑바닥부터 새로 만들지 않고, 메타의 검증된 기반 모델들을 조합했습니다. 텍스트 처리에 Llama 3.2, 오디오 특징 추출에 Seamless의 Wav2Vec2-BERT, 비디오 표현에 V-JEPA 2를 각각 연결했습니다.

학습에는 쿠르투아 뉴로모드(Courtois NeuroMod) 프로젝트의 데이터가 활용되었습니다. 피험자 1명당 약 80시간 분량에 달하는 영화 시청 시의 시공간 fMRI 뇌 반응 데이터를 포함합니다. 다양한 감각 자극과 뇌 영역, 개별 피험자를 동시에 아우르는 최초의 딥러닝 모델입니다.

연구진은 GitHub를 통해 전체 코드를 오픈소스로 배포했으며, 관련 논문도 arXiv에 공개했습니다.

왜 중요한가

그동안 신경과학 연구에서는 시각이나 청각 등 자극 유형에 맞춰 개별 특화 모델을 따로 만드는 경우가 많았습니다. TRIBE는 범용 멀티모달 파운데이션 모델의 표현을 결합하는 것만으로도 실제 뇌 반응 예측에서 최고 성능을 낼 수 있음을 입증했습니다.

인지과학이나 뇌-컴퓨터 인터페이스(BCI) 분야 연구자들에게는 신뢰할 만한 오픈소스 베이스라인이 마련된 셈입니다. 다만 방대한 fMRI 데이터셋과 여러 대형 모델을 동시에 다뤄야 하므로, 일반 개발자가 가볍게 돌려보기보다는 연구 환경에 초점이 맞춰져 있습니다.