x

이메일로 만나보는 스타트업 가이드

투자, 행사, 정부사업 등 스타트업 생태계 소식을 이메일로 편하게 받아보세요.

턴라이트(ternlight)는 웹사이트에 경량 임베딩 모델을 내장할 수 있는 패키지다. 임베딩 모델의 크기는 5~7MB이며 웹사이트 방문자는 자신의 CPU에서 임베딩 모델을 실행할 수 있다.

턴라이트는 소형 임베딩 모델인 all-MiniLM-L6-v2를 증류한 초소형 모델을 웹사이트에 포함시킬 수 있는 패키지다. @ternlight/base와 @ternlight/mini 2종류로 나뉘며 base는 7MB, mini는 5.5MB 메모리를 사용한다. 웹 개발자는 턴라이트를 활용해 웹사이트에 임베딩 모델을 활용한 시맨틱 검색 기능 등을 추가할 수 있다.

임베딩 모델 연산 처리는 방문자 CPU에서 실행되는 구조다. 노트북에서 실행해도 수 밀리초 지연으로 처리할 수 있다. 턴라이트 개발자인 웬 슈 탕(Wen Shu Tang)은 퍼포먼스와 품질 향상을 목표로 하고 있으며 기여자를 모집하고 있다. 관련 내용은 이곳에서 확인할 수 있다.

뉴스 레터 구독하기

Related Posts

Next Post