x

이메일로 만나보는 스타트업 가이드

투자, 행사, 정부사업 등 스타트업 생태계 소식을 이메일로 편하게 받아보세요.

YuE는 AI 연구 커뮤니티(Multimodal Art Projection)와 홍콩과기대가 공동 개발한 음악 생성 AI로 멜로디와 가사가 들어간 최대 5분 악곡을 생성할 수 있다. 모델 데이터는 무료로 공개되어 있다.

YuE는 Llama2 아키텍처를 기반으로 개발된 음악 생성 AI로 YuE라는 명칭은 중국어로 음악이나 행복을 의미하는 단어에서 유래됐다. 이 발음이 영어(yeah)에 가깝다는 점에서 연구팀은 데모 음원으로 이 발음을 연호하는 팝 악곡을 공개했다.

YuE는 가사와 곡조를 지정해 악곡을 생성하는 게 가능하다. 다음 악곡은 메탈풍 곡조를 지정해 생성한 것이다. 곡 전체 분위기를 지정해 가사를 자동 생성하는 타입 음악 생성 AI와 달리 인트로 부분이나 코러스 부분 가사를 명시적으로 지정할 수 있는 게 특징이다.

또 YuE에는 영어에 특화된 모델이나 중국어에 특화된 모델 등 변형이 있으며 YuE-s1-7B-anneal-jp-kr-cot와 YuE-s1-7B-anneal-jp-kr-icl은 한국어와 일본어 출력에 특화되어 있다.

YuE 모델 데이터는 허깅페이스 링크에서 배포되고 있다. 관련 내용은 이곳에서 확인할 수 있다.

뉴스 레터 구독하기

Related Posts

No Content Available
Next Post