로컬‧클라우드 AI 자동 전환…웨이파인더 라우터

짧은 문장 요약이나 오탈자 수정은 로컬 소형 AI에 맡기고 복잡한 추론이나 긴 코드 분석은 고성능 클라우드 AI에 보내는 판단을 자동화하는 오픈소스 도구인 웨이파인더 라우터(Wayfinder Router)가 깃허브에 공개되어 있다.

AI 채팅에 이 문장을 한 문장으로 요약해달라고 요청하는 경우와 여러 조건을 충족하는 프로그램 설계를 요청하는 경우에서는 필요한 AI 능력이 크게 다르다. 가벼운 작업까지 매번 고가 클라우드 AI에 보내면 비용이 늘어나고 반대로 어려운 작업을 소형 로컬 AI에 맡기면 답변 품질이 떨어지기 때문에 적절한 AI 모델 선택이 중요하다.

AI 모델을 전환하는 라우터나 게이트웨이는 이미 여럿 존재하지만 웨이파인더가 중시하는 건 분배 판단에 AI를 사용하지 않는다는 점이라고 한다. 일반 라우터는 분류용 모델이나 LLM 판정 역할을 호출해 난이도를 판단하는 경우가 있지만 판단을 위해 추가 대기 시간이나 비용이 발생하면 절약을 위한 구조가 또 다른 부담이 되어 버린다.

웨이파인더는 기본적으로 프롬프트 길이, 제목, 목록, 코드 유무 등 구조적 특징을 읽어내 0.0에서 1.0까지의 복잡도 점수를 산출한다. 설정에 따라서는 수학이나 증명, 엄격한 제약을 나타내는 단어 등도 판정 재료로 삼을 수 있다고 한다. 점수가 낮으면 로컬 모델로, 점수가 높으면 클라우드 모델로 보내는 구조다. 판정은 오프라인에서 결정적으로 이뤄지기 때문에 같은 입력이면 같은 결과가 나오며, 판정을 위한 API 키나 네트워크 접속도 불필요하다고 한다.

도입은 기존 AI 이용 환경 앞단에 웨이파인더 게이트웨이를 배치하는 형태다. 오픈AI 호환 API에 대응하고 있어 채팅 UI, IDE 보조 도구, 에이전트 프레임워크 등 접속 대상 base_url을 웨이파인더로 향하게 하는 것만으로 웨이파인더가 뒤에 있는 로컬 모델이나 클라우드 모델에 자동으로 작업을 분배한다. 사용자 입장에서 보면 같은 화면에서 질문하고 있을 뿐이지만 이면에서는 가벼운 질문이 올라마(Ollama)나 vLLM 등 로컬 환경으로, 무거운 질문이 클라우드 AI로 보내지는 형태가 되는 것.

어디로 보내졌는지 알 수 없으면 운용하기 어렵기 때문에 웨이파인더는 응답에 라우팅 대상 모델이나 복잡도 점수를 표시하는 헤더를 첨부한다. 또 특정 한 번만 로컬로 고정하거나 클라우드를 우선시하거나 임계값을 변경하는 것도 가능하다고 한다. 슬래시 명령을 활성화하면 채팅란 맨 앞에 /local, /cloud, /auto 같은 명령을 입력하여 분배를 조작할 수도 있다.

웨이파인더는 기본 임계값을 그대로 사용하는 것뿐 아니라 자신의 이용 경향에 맞춰 조정하는 것도 상정하고 있다. 예를 들어 평소 질문을 로컬로 충분했던 것과 클라우드가 필요했던 것으로 나누고 해당 데이터를 사용해 임계값을 조정할 수 있다. 로컬 웹 UI에서는 점수 내역을 확인하거나 임계값을 움직여 분배 결과 변화를 확인할 수 있다고 한다.

개발자는 웨이파인더에 대해 간단한 프롬프트는 저렴한 모델에 맡기고 어려운 프롬프트만 고가 모델에 보내 요약이나 오탈자 수정에 최고 등급 요금을 계속 지불하는 상황을 피할 수 있다고 설명했다. 관련 내용은 이곳에서 확인할 수 있다.