텍사스대 오스틴, GPT와 fMRI 결합해 생각 읽는 비침습 AI 디코더 개발

말을 잃어버린 환자가 다시 세상과 소통하게 하려면, 지금까지는 두개골을 열고 뇌에 직접 전극을 심는 수술이 불가피했습니다.

하지만 텍사스 대학교 오스틴 캠퍼스 연구진이 수술 칼을 대지 않고도 인간의 뇌 활동을 텍스트로 번역하는 언어 디코더를 개발했습니다. 국제 학술지 '네이처 신경과학(Nature Neuroscience)'에 실린 이번 연구는 ChatGPT의 기반이 되는 트랜스포머 AI를 활용했습니다.

기능적 자기공명영상(fMRI)을 통해 뇌혈류 변화를 측정하고, 비침습적인 방식으로 연속된 언어를 재구성해 낸 것은 이번이 처음입니다.

입 모양 대신 뇌 속 '의미'를 읽는다

기존 침습형 뇌-컴퓨터 인터페이스(BCI)는 환자가 말을 하려고 할 때 턱이나 입술 근육으로 향하는 운동 신호를 추적하는 방식이 많았습니다.

반면 이번 연구는 운동 신호가 아닌 '생각의 의미' 그 자체에 집중했습니다. 연구 논문의 책임 저자인 알렉산더 후스(Alexander Huth) 교수는 이 시스템이 말초적인 운동 신경이 아니라 아이디어, 의미론, 맥락의 층위에서 작동한다고 설명했습니다.

연구진은 참가자 세 명을 fMRI 장비에 눕혀두고 16시간 동안 팟캐스트 이야기를 들려주었습니다. 수집된 뇌혈류 패턴 데이터는 레딧(Reddit) 게시글 등으로 사전 학습된 'GPT-1' 모델과 결합되어 특정 단어와 뇌 활동 사이의 연관성을 파악했습니다.

이후 새로운 이야기를 들려주자, AI는 참가자가 들은 내용을 텍스트로 풀어냈습니다. 단어를 똑같이 베끼는 것은 아니지만 골자는 정확했습니다. 예컨대 "아직 운전면허가 없다"는 음성을 들었을 때 디코더는 "그녀는 아직 운전을 배우기 시작조차 하지 않았다"는 문장을 내놓았습니다.

무성 영화와 마음속 상상까지 번역

이 디코더의 능력은 소리를 듣는 데서 그치지 않았습니다. 소리 없는 무성 영화를 보거나, 머릿속으로 혼자 이야기를 상상할 때도 뇌의 생각을 읽어냈습니다.

참가자가 "밀밭을 지나 흙길을 걷고, 개울을 건너 통나무집을 지났다"는 장면을 마음속으로 상상하자, 디코더는 "그는 다리를 건너 반대편으로 가야 했고, 저 멀리 아주 큰 건물이 있었다"는 문장을 추출해 냈습니다.

단순 상상을 해독하는 정확도는 소리를 들을 때보다 떨어졌지만, 입 밖으로 내지 않은 내밀한 생각을 비침습 장비로 포착했다는 점은 주목할 만합니다.

왜 중요한가

뇌졸중이나 루게릭병(ALS)으로 언어 기능을 잃은 이들에게 이 기술은 커다란 희망입니다. 개두술이라는 위험하고 비싼 수술을 피하면서도 AI 언어 모델을 접목해 '의미 추출'로 직행한 접근법은 매우 영리해 보입니다.

하지만 지금 당장 병원이나 일상에서 쓸 수는 없습니다. fMRI는 거대하고 값비싼 실험실 장비이며, 기계 안에서 꼼짝 않고 누워 있어야 하기 때문입니다. 연구진은 모자처럼 착용하는 근적외선 분광법(fNIRS) 센서로의 확장을 기대하고 있지만, 소형 센서가 fMRI 수준의 해상도를 낼 수 있을지는 검증이 더 필요합니다.

더 본질적인 문제는 '정신적 프라이버시'입니다. 지금은 개인이 16시간 동안 자발적으로 협조해야만 맞춤형 모델이 작동하지만, 연구진 스스로 경고했듯 기술이 고도화되면 협조 없이도 생각을 훔쳐보거나 악용될 여지가 있습니다. 우리가 보기에 이 연구는 마음을 읽는 기계의 유용성뿐 아니라, 뇌 프라이버시를 보호할 윤리적·법적 가이드라인이 왜 시급한지를 보여주는 결정적 신호탄입니다.