뇌졸중으로 말하는 능력 잃은 여성, AI로 소통 능력 되찾았다

미국 캘리포니아대학교 버클리캠퍼스와 샌프란시스코캠퍼스 연구진이 뇌간경색을 발병해 말을 할 수 없게 된 여성 뇌 전기신호를 읽어 말로 변환하는 실험에 성공했다. 이 연구가 더욱 발전해 당초보다 대폭 지연시간이 단축된 것으로 전해졌다.

캐나다 서스캐처원주 한 고등학교에서 수학과 체육을 가르치며 배구와 농구 코치를 맡는 등 바쁜 나날을 보내던 앤 존슨은 친구와 배구를 하던 중 뇌간경색을 발병해 30세에 말하는 능력과 몸의 근육을 움직이는 능력을 거의 모두 잃었다.

존슨은 거의 완전한 마비와 자연스러운 소통 능력 상실을 특징으로 하는 폐쇄증후군이라는 상태에 빠져 말을 하려고 해도 입이 움직이지 않고 목소리도 나오지 않았다. 시간이 지나면서 목을 움직일 수 있게 되고 울거나 웃을 수도 있게 되었지만 여전히 목소리는 나오지 않아 아이트래킹 시스템을 이용한 소통을 하고 있었다.

그런데 18년 후 캘리포니아대학교 버클리캠퍼스와 캘리포니아대학교 샌프란시스코캠퍼스 연구진이 실시한 임상시험에 참여해 존슨은 말하는 능력을 되찾았다.

연구진은 뇌의 언어처리 부위에서 정보를 읽어내는 뇌-컴퓨터 인터페이스(BCI)를 사용한 임상시험을 진행하고 있으며 존슨은 2022년 3번째 피험자로 참여했다.

연구진은 존슨에게 자신만의 아바타를 선택하게 하고 존슨이 과거 결혼식에서 축사를 했을 때의 녹음을 이용해 음성을 재현했다. 이어 뇌의 언어처리 영역에 임플란트를 삽입하고 존슨에게 문장을 보여주며 소리 내어 읽도록 했다. 이때 뇌에서 발생한 신호를 AI로 처리해 실제 말로 변환하고 아바타로 표정을 만들었다.

이 시험이 진행된 2023년 당시에는 뇌파를 읽어서 말로 변환하기까지 8초 지연이 있어 결코 유창하다고 할 수 없었다. 그런데 2025년 3월 새로운 연구 내용이 발표되어 이 지연시간이 겨우 1초 정도로 극적으로 단축됐다는 게 밝혀졌다.

이로 인해 거의 실시간으로 피험자 사고를 말로 변환할 수 있을 뿐 아니라 지속적으로 변환 처리를 수행하므로 끊김 없이 계속 말할 수도 있다고 한다.

연구진에 따르면 시험에 사용되고 있는 장치는 말하려고 하는 신경활동’만을 읽어내기 때문에 인간이 생각하고 있는 걸 그대로 엿보는 건 아니라고 한다. 한 연구 참여자는 그녀의 마음을 읽고 싶었던 게 아니라며 그녀가 무언가를 말하려고 할 때만 작동하는 것이라고 말했다.

2024년 2월 존슨은 시험과는 무관한 이유로 임플란트를 제거했지만 연구팀과의 연락은 계속하고 있다고 한다. 존슨은 자신의 목소리를 들을 수 있어서 즐거웠다고 느끼고 있으며 미래에는 재활시설에서 상담사가 되고 이상적으로는 신경을 읽어 작동하는 의수를 사용해 대화하고 싶다고 생각하고 있다고 한다.

연구진은 화자가 흥분했을 때 등 대화 중에 일어나는 톤이나 피치, 음량 변화를 반영하는 방법과 더불어 BCI를 무선화하는 방법도 모색하고 있다. 관련 내용은 이곳에서 확인할 수 있다.