메타, 뇌 활동 신호 읽어 실시간으로 이미지 복원하는 AI 공개

머릿속으로 떠올리거나 눈으로 보고 있는 장면이 모니터 화면에 그대로 재생되는 기술. 공상과학 영화의 단골 소재가 현실의 연구실 안으로 성큼 들어왔습니다.

Meta 연구진은 10월 18일, 비침습적 뇌영상 기법인 뇌자도(MEG)를 활용해 인간의 뇌 활동 신호를 밀리초 단위로 해독하고, 이를 실시간 이미지로 복원하는 새로운 AI 시스템을 공개했습니다.

뇌 신호에서 그림까지, 3단계 디코딩

기존의 뇌 신호 시각화 연구는 기능적 자기공명영상(fMRI)을 주로 썼습니다. fMRI는 뇌의 구조와 위치를 정밀하게 보여주지만, 혈류 변화를 측정하는 방식이라 반응 속도가 수 초 이상 느리다는 한계가 있었습니다. 반면 MEG는 초당 수천 번의 뇌 자기장 변화를 감지할 수 있어, 뇌 활동을 포착하는 데 훨씬 빠릅니다.

Meta 연구진은 이 시스템을 이미지 인코더, 뇌 인코더, 이미지 디코더의 세 단계로 설계했습니다.

먼저 이미지 인코더가 뇌와 무관하게 원본 이미지의 풍부한 시각적 특징을 추출합니다. 이어서 뇌 인코더가 자원봉사자의 두피에서 측정한 MEG 신호를 해당 이미지 특징값에 맞춰 정렬하는 법을 배웁니다. 마지막으로 이미지 디코더가 이 정렬된 뇌 표상을 바탕으로 그럴듯한 이미지를 생성해 냅니다.

연구진은 학술 연구 컨소시엄 Things가 공개한 건강한 자원봉사자들의 MEG 데이터셋을 사용해 모델을 훈련했습니다.

흥미로운 점은 여러 사전 학습 비전 모델을 비교했을 때, Meta의 자체 자기지도학습 모델인 DINOv2가 인간의 뇌 신호와 가장 일치했다는 사실입니다. 인간이 라벨을 달아주지 않고 스스로 시각적 구조를 익힌 AI 모델의 인공 뉴런이, 실제 이미지를 바라보는 인간 뇌 속 신경세포와 매우 흡사하게 활성화된 셈입니다.

사물 종류는 맞추지만, 디테일은 엉뚱하게

물론 이 시스템이 완벽한 독심술 기계는 아닙니다.

Meta 연구진도 현재 시스템의 뚜렷한 한계를 인정했습니다. 피실험자가 개나 기차, 사람을 바라보고 있을 때 시스템은 그 사물이 속한 상위 범주를 매우 안정적으로 인식합니다. 무엇을 보고 있는지 큰 틀은 틀리지 않는다는 뜻입니다.

하지만 세부 묘사로 들어가면 이야기가 달라집니다. 물체의 방향을 엉뚱하게 돌려놓거나 엉뚱한 위치에 배치하고, 구체적인 품종이나 디테일을 제멋대로 왜곡하는 경우가 잦습니다. 정지 화면의 선명도 면에서는 기존 fMRI 연구 결과물보다 떨어집니다.

그럼에도 MEG 디코더가 주목받는 이유는 시간적 연속성 때문입니다. fMRI가 느린 스냅숏 사진을 찍는다면, MEG는 밀리초 단위로 뇌의 시각 처리 과정을 추적해 연속적인 이미지 스트림을 만들어낼 수 있습니다.

왜 중요한가

우리는 Meta가 픽셀 단위의 정밀한 화질 경쟁 대신 실시간성에 집중한 점이 영리한 선택이었다고 생각합니다.

당장 일반 사용자가 집에서 쓸 수 있는 기술은 아닙니다. MEG 측정 장비는 여전히 거대하고 값비싼 의료 장비이기 때문입니다. 하지만 뇌 손상이나 뇌졸중으로 언어 능력을 상실한 환자들에게는 커다란 희망이 될 수 있습니다. 두개골을 열고 칩을 심는 침습적 수술 없이도, 모자 형태의 비침습 장비로 환자가 전달하려는 시각적 생각이나 의도를 실시간 복원해 낼 가능성을 열어주기 때문입니다.

업계 관점에서는 자기지도학습이 인간 뇌의 인지 구조를 닮아간다는 점을 입증했다는 데 무게가 실립니다. 얀 르쿤이 강조해 온 I-JEPA나 DINOv2처럼, 방대한 텍스트 라벨링 없이 세상의 구조를 스스로 파악하도록 만든 모델이 실제 뇌 신경망의 작동 방식과 가장 닮았다는 실험적 증거를 보여줬기 때문입니다.

하지만 한계도 분명합니다. 지금의 성과는 사전에 통제된 이미지 데이터셋을 바탕으로 매핑을 맞춘 결과입니다. 피험자가 머릿속으로 자유롭게 떠올리는 상상이나 꿈을 완전히 백지상태에서 디코딩하는 범용 인터페이스로 발전하기까지는 아직 넘어야 할 기술적 산이 많아 보입니다.