초음파로 목소리 없이 대화 가능한 시스템?

AI 연구개발 기업 알레프(Aleph)가 초음파로 혀 움직임을 관측해 소리를 내지 않고 발화한 내용을 문장으로 변환하는 시스템을 개발했다. 50시간 분량 데이터로 학습시킨 초기 시제품 단계지만 자유로운 어휘를 포함한 발화를 단어 오류율 15.6%로 인식할 수 있었다고 보고됐다.

인간이 컴퓨터에 정보를 입력할 때 보통 음성은 타이핑보다 4배 빠른 것으로 알려져 있다. 하지만 직장이나 카페, 전철 등 주위에 사람이 있는 장소에서는 음성 입력 내용을 타인에게 들킬 가능성이 있어 부담 없이 사용하기 어렵다는 문제가 있다.

알레프가 개발한 시스템은 의료 현장에서 초음파 진단에 사용되는 프로브를 턱 아래에 대고 구강 바닥에서 혀를 향해 초음파를 보내 발화 시 혀 움직임을 영상으로 기록한다. 그런 다음 머신러닝 모델이 이 초음파 영상을 분석해 대응하는 단어나 문장을 예측한다.

무언의 발화를 검출하는 방법으로는 근육이 발생시키는 전기 신호를 측정하는 근전도나 레이더, 독순술 등도 연구되고 있지만 초음파는 혀 자체를 비교적 선명하게 관찰할 수 있어 간접 신호로부터 움직임을 추측할 필요가 없고 외견상으로는 발화하고 있다는 사실이 거의 드러나지 않는다는 장점이 있다. 또 음파를 마이크로 수음하는 구조가 아니기 때문에 주변이 시끄러운 환경에서도 음성 인식에 영향을 받기 어렵다는 점도 큰 장점이다.

혀는 영어 40종류 음소 가운데 대략 34종류를 구별할 수 있는 움직임을 형성하는 것으로 알려져 있다. 알레프 측은 반면 영상에서 분별할 수 있는 입술 모양은 10~14종류에 그치기 때문에 혀 영상에는 독순술보다 훨씬 많은 음성 정보가 담겨 있다고 설명했다.

알레프는 학습용 데이터로 복수 피험자가 합성된 단편 소설을 낭독하는 모습을 초음파로 촬영해 합계 50시간 분량을 수집했다. 단독의 짧은 구문이 아닌 소설을 활용해 피험자가 자연스러운 흐름으로 계속 읽을 수 있도록 하는 동시에 폭넓은 어휘와 문장 구조, 관사나 축약형 등을 데이터에 포함시킬 수 있도록 했다.

최종 목적은 무언의 발화를 판독하는 것이지만 데이터 수집 시에는 문장을 올바르게 읽었는지 확인하기 쉽도록 피험자에게 소리를 내어 읽도록 했다. 알레프가 혀 영상을 비교한 결과 유성 발화와 무언 발화에서 유사한 움직임이 관찰됐기 때문에 유성 발화로 수집한 데이터로부터 무언 발화에도 대응하는 모델을 학습시킬 수 있다고 판단했다.

모델에는 영상 처리용 레스넷-18 2+1d(ResNet-18 2+1d)와 음성 인식 모델인 위스퍼 베이스(Whisper Base)가 활용됐다. 먼저 혀 초음파 영상을 처리하는 인코더 출력을 같은 발화 음성을 문자 변환 AI 모델인 위스퍼 인코더로 처리한 출력에 근접하도록 학습시킨 뒤 위스퍼 소형 디코더를 사용해 문장으로 변환하는 구조다.

학습 초기에는 모델이 언어로 자연스러운 문장을 추측할 뿐 혀 움직임을 충분히 활용하지 못하는 문제가 발생했다. 하지만 학습 샘플이 2만 건에 도달하자 acoustic을 발음이 비슷한 a key stick으로, hard를 heart로 인식하는 등 영상 신호로부터 음의 구조를 학습하기 시작했다는 걸 보여주는 오류가 나타났다고 밝혔다.

데이터 추가와 모델 개선, 복수 후보 문장을 생성하는 처리, 빔 서치(beam search), 문장 길이를 고려한 보정, LLM에 의한 후보 판정 등을 조합한 결과 화자를 넘나드는 자유 어휘 내부 검증에서 단어 오류율 15.6%를 달성했다. 학습 샘플이 1만 5,000건이었던 시점에서는 단어 오류율이 102%였지만 5만 건에서는 15.6%까지 저하되어 데이터를 늘리면 추가 개선 여지가 있는 것으로 나타났다.

개발된 모델은 학습에 참여하지 않은 사람이라도 미국 영어에 가까운 억양이라면 프로브를 손에 들고 바로 사용할 수 있었다. 반면 미국 영어 이외 억양에서는 인식 성능이 저하되기 때문에 모델을 미국 영어 이외로 확장하려면 보다 다양한 화자 데이터를 수집할 필요가 있다.

현재 알레프 초음파 프로브를 사용한 시스템은 불과 1개월 만에 개발된 초기 시제품 단계로 일반 대중에게 전개할 수 있는 수준은 아니다. 초음파 프로브에 대한 소형화와 경량화에 더해 피부 사이에 바르는 초음파 젤을 보다 다루기 쉬운 하이드로겔 같은 소재로 대체하는 등 과제가 남아 있다. 관련 내용은 이곳에서 확인할 수 있다.