x

이메일로 만나보는 스타트업 가이드

투자, 행사, 정부사업 등 스타트업 생태계 소식을 이메일로 편하게 받아보세요.

중국 기업 딥시크(DeepSeek)가 AI를 대규모로 서비스하기 위한 추론 시스템 딥인퍼(DeepInfer)를 오픈소스로 공개했다.

AI를 대규모로 서비스하기 위한 추론 시스템은 여러 가지가 있으며 vLLM과 SGLang 같은 시스템이 널리 쓰인다. 딥인퍼는 vLLM을 기반으로 SGLang과 텐서RT LLM(TensorRT LLM) 아이디어도 받아들여 개발했으며 고성능 대규모 서비스 운영을 지원한다.

딥인퍼는 딥시크 AI 서비스에서 실제로 쓰이고 있으며 이번 오픈소스 버전은 딥인퍼 핵심 기능을 묶은 것이다. 딥시크-V4.1-플래시(DeepSeek-V4.1-Flash) 실행을 지원하고 최적화된 추론 기능과 가속 기술 디스파크(DSpark) 등을 쓸 수 있다. 다만 KV 캐시 시스템은 구현돼 있지 않다. 딥인퍼는 깃허브에 공개됐으며 라이선스는 아파치 라이선스 2.0이다.

 

딥시크는 딥시크 레시피(deepseek-recipe)도 함께 오픈소스로 내놨다. 딥시크 레시피는 API 요청을 딥시크 모델용으로 변환하고 딥시크 모델 출력을 API 응답 형식으로 바꾸는 기능 등을 갖춘 라이브러리 모음이다. 이를 활용하면 서드파티 API 제공업체도 딥시크 공식 API와 같은 동작을 재현할 수 있다. 딥시크 레시피는 MIT 라이선스로 공개됐다. 관련 내용은 이곳에서 확인할 수 있다.

뉴스 레터 구독하기

Related Posts

Next Post