AI 기업 일레븐랩스(ElevenLabs)가 음성 더빙 모델 더빙 v2(Dubbing v2)를 출시했다.
더빙 v2는 원본 화자 감정과 표현을 그대로 재현하는 모델로 언어가 바뀌어도 위화감 없이 들을 수 있다는 게 특징이다.
일레븐랩스는 원본 화자 감정과 표현이 어떤 언어에서도 그대로 전달된다며 기존처럼 평탄하고 연결성이 없는 오디오를 생성하는 게 아니라 원본 퍼포먼스를 직접 기반으로 생성하기 때문에 톤과 템포, 말투, 감정까지 충실히 재현된다고 밝혔다. 이어 AI 더빙에서 오랫동안 해결하지 못했던 문제를 해결해, 번역된 음성이 실제로 본인이 말하는 것처럼 느껴지게 된다고 소개했다.
일레븐랩스에 따르면 기존 AI 더빙 시스템은 텍스트 기반 대본에 크게 의존해 왔다. 이 방식으로는 정확한 번역이 가능하더라도 사람다운 자연스러운 말투나 본인만의 뉘앙스가 손실되기 쉬웠다.
더빙 v2는 화자 본인 퍼포먼스를 직접 분석해 억양과 톤을 포착하고 이를 언어를 넘어 재현한다. 그 결과 보다 자연스럽고 표현력 풍부한 더빙이 실현되며 원본 말투에도 충실해졌다.
단순한 직역이 아닌 언어별로 자연스럽게 들리는 어구와 리듬, 문장 구성을 고려해 구어체로 자연스럽게 들리도록 번역을 조정하면서도 원본 콘텐츠와의 동기화를 유지하는 게 특징이다. 동기화를 의식한 번역 시스템을 통해 시작과 끝, 템포를 자동으로 맞추기 때문에 수동 조정의 번거로움이 줄어들고 전문 더빙에 가까운 완성도를 구현한다.
일레븐랩스는 전문 더빙은 1분당 수만 원이 드는 경우도 있으며 번역가·성우·편집자·음향 엔지니어 등 많은 공정이 필요하다면서 더빙 v2라면 이 과정을 자동화할 수 있고 크리에이터와 기업은 복잡한 워크플로나 여러 업체와의 조정 없이 고품질 다국어 콘텐츠를 제작할 수 있다고 전했다. 더빙 v2는 일레븐크리에이티브(ElevenCreative)와 일레븐프로덕션스(ElevenProductions)에서 이용할 수 있으며 API로도 추후 제공될 예정이다. 관련 내용은 이곳에서 확인할 수 있다.
![[AI서머리] 중기부, 지역 초격차 스타트업 확산‧코스포, 컴업 2026 자문위 출범](https://i0.wp.com/startuprecipe.co.kr/wp-content/uploads/2026/06/260602_kstartupforum.org_5003205035.jpg?resize=75%2C75&ssl=1)
![[AI서머리] 데이터이쿠-포스코, AI 해커톤 공동 개최‧서울바이오허브, 유망 바이오 기업 발굴 나선다](https://i0.wp.com/startuprecipe.co.kr/wp-content/uploads/2026/06/260602_Dataiku_5032002535.jpg?resize=350%2C250&ssl=1)
