뇌파를 환자 원래 목소리로 실시간 합성: UC 버클리·UCSF 연구팀, 지연 1초로 단축

머릿속으로는 하고 싶은 말이 분명히 떠올랐는데 목소리가 나오지 않는 고통은 상상하기 어렵습니다. 기존 뇌-컴퓨터 인터페이스(BCI) 기기를 사용하더라도, 한 문장을 말하기 위해 몇 초씩 어색한 침묵을 견뎌야 했습니다.

미국 UC 버클리와 UC 샌프란시스코 연구진이 이 한계를 크게 넘어섰습니다. 국제 학술지 네이처 뉴로사이언스에 발표된 이번 연구는 뇌파를 실시간 음성으로 디코딩해, 마비 환자가 다치기 전 자신의 목소리로 즉각 대화할 수 있게 돕는 AI 시스템을 선보였습니다.

생각을 훔치는 것이 아닌 '발음 명령'의 해독

뇌 신호로 말한다고 하면 뇌 속의 사적인 생각을 읽는 것으로 오해하기 쉽지만, 이 기술은 독심술이 아닙니다.

논문 공동 저자인 조철준 연구원은 시스템이 해독하는 시점이 생각을 마친 후, 즉 어떤 단어를 말할지 결정하고 성대와 구강 근육을 어떻게 움직일지 뇌가 명령을 내리는 단계라고 설명했습니다.

연구진은 환자가 화면에 뜬 단어를 소리 내지 않고 조용히 말하려고 시도할 때 발생하는 운동 피질의 뇌 신호를 수집해 AI를 학습시켰습니다. 뇌 신호 패턴과 입술을 움직이려던 단어를 1대1로 연결한 셈입니다.

환자가 내는 목소리 역시 차가운 기계음이 아닙니다. 환자가 부상을 입고 마비되기 전에 녹음해 둔 실제 음성 데이터를 기반으로 음성 합성 모델을 만들어 환자 고유의 톤을 복원했습니다.

8초에서 1초 미만으로 단축된 지연 시간

이번 성과의 핵심은 속도 혁신입니다. 공동 책임 연구자인 고팔라 아누만치팔리 UC 버클리 조교수는 시리나 알렉사 같은 기기에서 쓰이는 실시간 스트리밍 디코딩 알고리즘을 신경 보철 장치에 도입했다고 밝혔습니다.

연구팀의 2023년 이전 연구에서는 환자가 말을 시도한 뒤 음성이 출력되기까지 약 8초가 걸렸습니다. 반면 이번 스트리밍 방식은 지연 시간을 1초 미만으로 줄여 거의 실시간에 가까운 음성 출력을 가능하게 했습니다.

하드웨어 호환성도 뛰어납니다. 뇌 표면에 부착하는 고밀도 전극 어레이는 물론, 뇌에 삽입하는 미세 전극, 심지어 얼굴 근육 신호를 측정하는 비침습적 표면 근전도(sEMG) 센서와도 연동됩니다.

왜 중요한가

루게릭병(ALS)이나 중증 마비 환자에게 대화 지연 시간이 1초 안으로 줄어든다는 것은 일상으로의 복귀를 뜻합니다. 한마디를 내뱉는 데 8초가 걸리면 상대방과의 티키타카가 불가능하지만, 1초 미만의 지연 시간과 본인의 원래 목소리가 결합하면 온전한 인간적 유대감을 회복할 수 있습니다.

업계 관점에서도 이번 성과는 영리한 접근법을 보여줍니다. 많은 BCI 스타트업들이 뇌 조직에 더 많은 전극을 심는 하드웨어 경쟁에 매달리는 사이, 연구진은 스마트스피커식 스트리밍 알고리즘을 활용해 소프트웨어로 지연 시간을 해결했습니다. 비침습적 안면 센서까지 지원해 위험성을 낮춘 점도 돋보입니다.

다만 아직 넘어야 할 산은 있습니다. 공개된 시연 음성은 자연스러운 억양과 감정 표현 면에서 여전히 다소 단조롭습니다. 연구진 역시 향후 과제로 음성의 표현력을 높이고 속도를 더 끌어올리는 작업을 꼽았습니다. 실험실 환경을 벗어나 일상적인 노이즈 속에서도 안정적으로 작동할 수 있을지가 상용화의 관건이 될 것으로 보입니다.