엔비디아, 음성→3D 아바타 얼굴 애니 생성 기능 오픈소스화

엔비디아가 음성을 기반으로 3D 아바타에 대한 사실적인 얼굴 애니메이션을 생성하는 AI 탑재 도구인 오디오2페이스(Audio2Face)를 오픈소스화했다. 이를 통해 개발자는 오디오2페이스와 이를 뒷받침하는 프레임워크를 활용해 게임이나 앱용 사실적인 3D 캐릭터를 제작할 수 있게 됐다.

오디오2페이스는 음성의 음향적 특징을 분석해 3D 아바타 표정이나 입술 움직임에 맵핑하는 애니메이션 데이터를 생성하는 기술이다. 오디오2페이스는 AI를 활용해 입력된 음성에서 음소나 억양 등 음향 특성을 분석하고 애니메이션 데이터 스트림을 생성한 뒤 이를 캐릭터 표정에 맵핑한다. 이를 통해 정확한 립싱크를 구현할 수 있는 게 오디오2페이스가 지난 큰 특징이다.

오디오2페이스는 이미 게임과 영상 제작, 광고 등에서 폭넓게 도입되고 있다. 예를 들어 EA 스포츠가 내놓은 레이싱 게임 F1 25에서는 게임 중 등장하는 캐릭터가 대화하는 장면 애니메이션에 오디오2페이스가 사용됐다.

이번에 오픈소스화되는 건 립싱크를 생성하는 오디오2페이스 모델과 음성에서 감정 상태를 추측하는 Audio2Emotion 모델, 오디오2페이스 소프트웨어 개발 키트(SDK)와 오토데스크 마야용 플러그인, 언리얼엔진 5용 플러그인, 오디오2페이스 모델 트레이닝 프레임워크, 오디오2페이스 모델 트레이닝 샘플 데이터다. 이들 데이터는 여기에서 다운로드할 수 있다. 소스 코드는 깃허브에 호스팅되고 있다. 관련 내용은 이곳에서 확인할 수 있다.