단일 뇌 임플란트로 언어·제스처 동시 해독: 마비 환자 아바타 실시간 제어

사람은 대화를 나눌 때 입으로만 말하지 않습니다. 손짓을 섞고 고개를 끄덕이는 제스처가 함께 어우러져야 비로소 온전한 소통이 완성됩니다. 하지만 뇌졸중이나 루게릭병으로 사지가 마비된 환자를 위한 기존 뇌-컴퓨터 인터페이스(BCI)는 대부분 글자를 입력하거나 마우스 커서를 움직이는 등 단일 기능만 따로 해독하는 수준에 머물러 있었습니다.

미국 샌프란시스코 캘리포니아대(UCSF) 연구진이 이러한 한계를 넘어선 성과를 네이처 뉴로사이언스(Nature Neuroscience)에 발표했습니다. 뇌 표면에 이식한 단 하나의 전극 장치를 통해 환자가 시도하는 언어와 신체 제스처를 동시에 해독하고, 이를 개인 맞춤형 전신 아바타에 실시간으로 반영하는 데 성공했습니다.

말과 몸짓의 뇌 신호 간섭을 풀어낸 방식

이번 임상 연구에는 뇌간 뇌졸중과 근위축성 측삭경화증(ALS)으로 심각한 마비를 겪고 있는 환자 세 명이 참여했습니다. 연구팀은 감각운동피질 표면에 253개의 전극이 촘촘하게 배열된 피질뇌파(ECoG) 어레이를 이식했습니다.

말을 하면서 동시에 몸짓을 하려고 할 때 뇌 신호는 단순히 합쳐지는 것이 아니라 비선형적으로 복잡하게 얽힙니다. 개별 행동 데이터로만 훈련된 알고리즘은 사용자가 말을 하며 손을 움직이려 하는 순간 신호 왜곡을 이겨내지 못하고 정확도가 크게 떨어집니다.

UCSF 연구진은 언어와 제스처를 병렬로 처리하는 머신러닝 디코더를 설계하고, 단독 행동과 동시 행동 데이터를 함께 학습시켜 신호 간섭 문제를 해결했습니다. 그 결과 한 참가자는 제스처 85%, 언어 75%의 정확도를 기록했고, 또 다른 참가자는 세 번의 테스트 블록에서 두 영역 모두 중앙값 100%라는 놀라운 인식률을 기록했습니다.

왜 중요한가

마비 환자 입장에서 텍스트 입력창을 넘어 자신을 표현할 수 있는 디지털 신체를 되찾는다는 것은 사회적 자존감 차원에서 매우 중요한 진전입니다. 다만 현재 실험에 사용된 어휘와 제스처의 가짓수가 제한적인 통제 환경이었던 만큼, 당장 일상 대화에 자유롭게 쓸 수 있는 수준까지는 시간이 더 필요합니다.

기술 및 의료 산업 관점에서는 다중 감각 복원을 위해 여러 개의 센서를 뇌 여러 부위에 따로 심을 필요가 없음을 입증했다는 점이 핵심입니다. 단 하나의 표면 전극 어레이로도 신체와 구강 운동 영역의 신호를 동시에 처리할 수 있음을 보여주어, 향후 임상 수술의 위험성과 환자의 부담을 획기적으로 줄여줄 것으로 보입니다.

실제 사람이 소통하는 다중 양식 환경에 정면으로 접근한 점은 매우 영리한 접근입니다. 다만 향후 수천 단어 이상의 자연스러운 일상 어휘로 범위를 넓힐 때, 피질 표면 신호의 해상도가 복잡해진 노이즈를 어디까지 감당해낼 수 있을지가 상용화의 진정한 시험대가 될 것으로 보입니다.