UC 버클리, 뇌파 분석 AI로 핑크 플로이드 록 음악 복원 성공

머릿속으로 듣고 있는 음악을 뇌파만으로 다시 재생해낼 수 있을까.

미국 UC 버클리 연구팀이 이를 실제로 해냈습니다. 뇌 표면에 전극을 삽입한 뇌전증 환자 29명에게 영국 록 밴드 핑크 플로이드의 명곡 'Another Brick in the Wall, Part 1'을 들려준 뒤, 측정된 뇌 신경 신호를 AI로 디코딩해 원래 노래의 멜로디와 리듬을 복원하는 데 성공했습니다.

국제 학술지 'PLOS Biology'에 발표된 이 연구는 복잡한 음악을 들을 때 발생하는 인간의 뇌 활동을 인공지능을 통해 실제 소리로 재합성해낸 첫 사례 중 하나입니다.

43%의 유사도: 뇌 신호로 복원한 록 음악

실험에 참가한 환자 29명은 뇌전증 치료 목적을 위해 뇌 표면에 전극을 수술로 배치한 상태였습니다.

연구팀은 환자들이 음악을 들을 때 전극 신호를 분석해 음고, 멜로디, 화음, 리듬 등에 민감하게 반응하는 전극들을 골라냈습니다. 이 과정에서 상측두회 내부의 특정 부위가 기타 리듬을 주로 처리하며, 음악 처리에는 좌뇌보다 우뇌가 훨씬 중요한 역할을 한다는 점도 다시 확인했습니다.

연구팀은 AI 모델을 훈련하면서 검증을 위해 노래 중 15초짜리 구간 하나를 학습 데이터에서 완전히 뺐습니다. 그리고 오직 해당 15초 구간을 들을 때 측정된 뇌 신호만을 AI에 주고 원래 소리를 예측하게 했습니다.

그 결과 복원된 오디오의 스펙트로그램은 원곡과 43%의 유사도를 보였습니다. 비록 물속에서 음악을 틀어놓은 것처럼 음질이 다소 뭉개지고 기계음이 섞여 있었지만, 기타 리듬과 보컬의 음정 변화는 누구나 알아들을 수 있을 만큼 뚜렷했습니다.

뇌파로 만든 음악, 저작권자는 누구인가

연구팀의 뤼도빅 벨리에 연구원은 기술이 발전하면 귀로 직접 듣는 음악뿐만 아니라 머릿속으로 상상한 멜로디까지 디코딩할 수 있어 뇌파 작곡으로도 이어질 수 있다고 내다봤습니다.

하지만 법조계에서는 새로운 논쟁거리가 생겼습니다. 워싱턴 로펌 로스웰 피그의 제니퍼 메이즐 변호사는 복원된 결과물이 원곡과 지나치게 닮을 경우 저작권 침해 문제가 발생할 수 있다고 짚었습니다. 게다가 뇌 신호를 기록한 연구자, AI 개발자, 뇌파를 제공한 환자 중 누구를 저작권자로 봐야 할지도 모호합니다.

링크레이터스의 제이훈 펠리반 변호사는 신호가 추출된 뇌 부위에 따라 법적 해석이 달라질 수 있다는 흥미로운 의견을 냈습니다. 단순히 소리를 감지하는 청각 피질에서 나온 신호인지, 창작적 사고를 담당하는 전두엽에서 나온 신호인지에 따라 법원이 개별적으로 판단해야 할 수 있다는 분석입니다.

왜 중요한가

우리는 이 연구의 진짜 가치가 뇌파로 음악을 듣는 엔터테인먼트 기능이 아니라, 중증 언어 장애인을 위한 음성 보조 장치의 한계를 깨는 데 있다고 봅니다.

현재의 뇌-컴퓨터 인터페이스(BCI)는 루게릭병이나 실어증 환자의 생각을 텍스트로 바꾸는 수준까지는 도달했습니다. 하지만 이를 합성 음성으로 변환하면 감정이 전혀 느껴지지 않는 차가운 로봇 목소리에 머물렀습니다.

이번 연구는 뇌가 억양, 리듬, 음높이 같은 음악적 요소를 어떻게 처리하는지 밝혀냈습니다. 이를 응용하면 환자의 뇌 신호에서 말의 뉘앙스와 감정까지 함께 읽어내 훨씬 더 사람다운 목소리로 소통하는 보조 기기를 만들 수 있습니다.

다만 건강한 일반인이 이 기술을 일상에서 쓸 일은 당분간 없습니다. 연구를 이끈 로버트 나이트 교수가 밝혔듯 두개골을 열고 전극을 심는 방식은 의료 목적에만 국한되기 때문입니다. 비침습적 MRI 등을 활용한 시도도 이어지고 있지만 신호의 해상도 차이가 큽니다.

결국 이번 연구의 묘미는 자연어보다 구조가 훨씬 정교하고 역동적인 음악을 디코딩 대상으로 삼았다는 데 있습니다. 뇌파에서 록 음악의 멜로디를 건져낼 수 있다면, 일상 대화에 담긴 감정과 음조를 풀어내는 일도 한층 현실적인 목표가 되었습니다.