입술 움직임 리얼한 휴머노이드 로봇

휴머노이드 로봇 입 움직임을 자연스럽게 보이게 하려면 음성에 맞춰 입술이나 턱을 세밀하게 움직일 필요가 있다. 하지만 인간 입 모양을 하나하나 규칙으로 만드는 방법은 손이 많이 가고 다른 로봇이나 다른 언어로 확장하기 어렵다는 과제가 있다. 콜럼비아 대학교 연구팀은 음성에 맞춰 입 모양을 만들 수 있는 로봇 안면 기구를 개발하고 로봇이 자신의 얼굴을 움직여 얻은 영상과 음성에서 추정한 이상적인 입 모양을 대조해 학습시켜 음성으로부터 입 움직임을 추정하는 방법을 제안했다.

연구팀이 개발한 로봇 얼굴은 부드러운 실리콘 재질의 입술을 갖추고 있으며 입꼬리·윗입술·아랫입술·턱을 합쳐 10곳을 따로따로 움직일 수 있는 구조로 되어 있다. 입술 피부를 당기는 것 뿐 아니라 미는 움직임도 할 수 있는 구조를 채택해, 입을 오므리는 동작이나 입술을 꼭 다무는 동작 같은 발화에 필요한 형태를 만들 수 있게 했다.

얼굴 내부에는 카메라나 마이크, 스피커 등이 내장되어 있으며 입꼬리나 윗입술·아랫입술을 움직이기 위한 커넥터도 배치되어 있다.

음성과 입의 움직임이 맞지 않으면 보기에 부자연스러움이 강해지고 기괴하다고 느껴지기 쉬운 가능성이 있지만 연구팀은 불쾌한 골짜기를 넘어가고 있다며 인형 로봇의 얼굴이 앞으로 자연스럽게 움직이게 될 것이라는 전망을 밝혔다.

학습은 인간이 발화할 때의 입 모양을 정답으로 대량 준비하는 형태가 아니라 로봇 자신의 움직임에서 시작됐다. 먼저 로봇이 무작위로 입술을 움직이는 모터 배블링(motor babbling)을 실시하고 카메라로 촬영한 로봇 입술의 영상과 그때의 모터 명령을 쌍으로 한 데이터를 수집한다. 다음으로, 음성에서 입 움직임을 합성하는 Wav2Lip을 사용해 이 음성이라면 입은 이렇게 움직여야 한다는 참조 영상을 만들었다.

그 위에 연구팀은 참조한 영상과 실제 기계 간 영상 차이를 메우기 위해 이미지 특징을 압축해서 다루는 변분 오토인코더를 사용했다. 참조한 영상의 입 모양 특징에 가까워지도록 모터 명령을 학습시켜 영상에서 동작으로 변환한다. 또 움직임이 뚝뚝 끊기지 않도록 과거 모터 명령 흐름도 보면서 다음 명령을 예측하는 FAT(facial action transformer)를 조합해 시간 방향의 연결을 부드럽게 했다.

연구팀이 이번에 제안한 로봇이 자신의 얼굴을 움직여 얻은 영상과 음성에서 추정한 이상적인 입 모양을 대조해 학습시켜, 음성으로부터 입 움직임을 추정하는 방법 정밀도를 입 주변 특징량에서 가까운 프레임을 선택하는 방법, 음성의 진폭에 맞춰 턱만 상하로 움직이는 방법, 음성과 입 모양에 의도적인 시간차를 넣는 방법, 무작위로 움직이는 방법 등 비교 대상과 비교한 결과 이번에 제안된 방법이 가장 고정밀도임이 확인됐다.

연구팀은 또 입술 움직임의 보기가 자연스러운지 확인하기 위해 제안한 방법과 기존 2종류 방법을 비교하는 설문 조사를 실시했다. 그 결과, 연구팀은 제안한 방법이 선택되는 비율이 62.5%였다고 보고했다.

연구팀은 다언어로의 일반화도 검증했다. 영어에 더해 한국어·프랑스어·일본어·스페인어·이탈리아어·독일어·러시아어·중국어·히브리어·아랍어 11개 언어로 평가한 결과 영어 이외 언어에서도 영어(여성 음성)에서 나온 오차 범위 내에 수렴되는 경우가 많았고 적어도 극단적인 악화는 눈에 띄지 않았다고 보고했다.

한편 입술 움직임이 어떤 발음에서도 똑같이 잘 구현된 건 아니며 입술을 강하게 다물어야 하는 자음 B나, 입술을 오므리는 W 같은 발음에서는 과제가 남아 있다. 연구팀은 인간과 상호작용할수록 정밀도가 올라간다며 실제 운용 중에 개량이 진행될 가능성을 언급했다.

얼굴이 자연스럽게 움직일수록 사람은 로봇에게도 인간과 같은 감정이나 의도가 있다고 받아들이기 쉬워진다. 연구팀은 이 점을 고려해 이익을 얻으면서 리스크를 억제하려면 천천히 신중하게 나아갈 필요가 있다고 말했다. 관련 내용은 이곳에서 확인할 수 있다.