복수 AI 모델 일원 관리…모질라AI, 오타리 개발

파이어폭스 개발로 알려진 모질라(Mozilla)가 설립한 오픈소스 AI 생태계 구축을 목표로 하는 스타트업인 모질라AI(Mozilla.ai)는 7월 6일 대규모 언어 모델(LLM)을 효과적으로 운용하기 위한 오픈소스 컨트롤 플레인 오타리(Otari)를 출시했다.

모질라AI는 AI 개발 기업이 데이터를 비공개로 전환하는 움직임이 계속되는 가운데 개방성과 투명성을 확보하고 설명 책임을 다하면서 AI를 개발하는 기업을 지향하며 설립됐다. 모질라AI는 개발자는 개방적이고 유연하며 스스로 제어할 수 있는 AI 시스템을 구축할 수 있어야 한다고 생각하고 있으며 이에 따라 개발된 게 오타리다.

오타리는 LLM 인프라를 일원 관리하는 컨트롤 플레인이다. 복수 LLM 프로바이더에 걸친 리퀘스트 라우팅, 비용 관리, 거버넌스, 배포, 신뢰성 향상 등을 개발자와 엔지니어링 팀이 일원적으로 관리할 수 있도록 지원한다.

개발자는 하한 플랫폼에서 여러 기능을 이용할 수 있다. 먼저 단일 엔드포인트를 통해 복수 LLM 프로바이더에 리퀘스트를 라우팅하는 기능. 예산 관리 기능, 이용 현황 시각화, 자동 예산 제한을 통한 LLM 이용 비용 관리 기능도 갖추고 있다. 다음으로 API 키, 워크스페이스, 접근 권한을 일원 관리해 거버넌스를 강화하며 클라우드 호스트형과 셀프 호스트형 양쪽 모두에 대응한다. 또 리퀘스트를 최적의 LLM에 자동으로 분배하는 인텔리전트 라우팅과 장애 시 다른 LLM으로 자동 전환하는 자동 페일오버를 통해 서비스 신뢰성을 향상시킨다. 그 밖에 도구와 오케스트레이션 기능을 갖춘 AI 에이전트 개발용 에이전트 하네스(Agent Harnesses)를 활용해 AI 에이전트 대응 애플리케이션을 구축할 수 있다.

모질라AI에 따르면 오타리는 LLM 인프라를 일원적으로 관리할 수 있는 환경을 제공해 개발자가 복잡한 인프라 운용에 소비하는 시간을 줄이고 AI 애플리케이션 개발에 집중할 수 있도록 하는 걸 목적으로 한다.

모질라AI는 오타리를 개발한 이유에 대해 LLM을 도입하는 개발자 및 조직과 협업하는 과정에서 자사는 동일한 인프라스트럭처 상 과제가 반복적으로 나타나는 걸 목격했다며 각 팀은 독자적인 라우팅 로직 구축, 프로바이더 키 관리, 사용 현황 추적 및 예산 관리, 그리고 각 애플리케이션에서의 거버넌스 구현을 각각 독자적으로 수행하고 있었다고 지적했다. 이어 이러한 게 애플리케이션과 LLM 프로바이더 사이에 위치하는 전용 컨트롤 플레인에서 관리되어야 한다고 생각하며 개발자가 인프라스트럭처를 관리·운용하기 위한 단일 장소를 제공하려 한다고 설명했다.

오타리는 오픈소스 프로젝트로 리포지토리가 깃허브에서 호스팅되고 있다. 관련 내용은 이곳에서 확인할 수 있다.