SaaS로 만나는 웹 크롤러 “스파이더킴 써보세요”

유펜솔루션은 마우스로 만드는 자신만의 웹 크롤러를 표방하는 스파이더킴(SpiderKim)을 개발한 데이터 전문 스타트업. 지난 2018년 창업 이후 웹 크롤링 기술을 이용해 웹사이트 항목을 데이터로 변환하는 웹 데이터 수집 서비스를 해왔다.

그렇다면 웹 크롤링은 왜 중요할까. 웹 크롤링은 여러 웹 페이지에서 필요한 요소만 선택 추출해 데이터로 변환하는 기술을 말한다. 이 기술을 이용하면 아마존이나 쿠팡 같은 e커머스 판매 상품 데이터를 수집해 마케팅과 영업 전략을 수립하거나 경쟁사 분석, 고객 반응 분석 등에 활용할 수 있다.

웹 크롤링 기술은 e커머스뿐 아니라 부동산과 금융, 뉴스, 여론, 정책, 학술 연구 등 다양한 분야에 활용되며 웹 데이터를 수집, 분석해 데이터 가치를 창출하는 핵심 기술로 관심을 모으고 있다.

유펜솔루션이 선보인 스파이더킴은 2020년 11월 클라우드 환경에서 제공하는 웹 크롤링 서비스로 베타 버전을 내놓은 상태다. 올 상반기 정식 상용 서비스를 시작할 예정이다.

기존 웹 크롤링은 직접 코딩해 웹 크롤러를 개발하거나 외주 개발자에게 의뢰해야 하는 불편함이 있었고 비용도 표준화되어 있지 않아 접근성이 낮았다.

스파이더킴은 수집 대상 웹사이트 서버에 부담을 안 준 채 사용자가 의도한 데이터를 빠르고 정확하게 찾아내는 웹 크롤링 엔진을 설치나 업데이트 없이 인터넷에 바로 접속해 실행 가능한 SaaS 시스템에 탑재해 사용자 접근성을 높였다.

스파이더킴은 이미 4,000여 개 이상 웹사이트에 대한 구조를 파악하고 소스를 분석해 노하우를 축적하고 분산 처리에 특화한 서버 기술로 데이터 처리 속도 향상과 비용 절감 시스템을 구축해 사업성을 확보하고 있다.

회사 측은 스파이더킴이 무엇보다 사용하기 쉽다는 점을 강조한다. 접속해 수집을 원하는 웹페이지 URL을 입력하고 화면에서 수집을 원하는 항목을 마우스로 클릭하고 작업 흐름대로 수집 절차와 범위만 설정한 다음 실행 버튼만 누르면 된다. 수집한 데이터는 CSV나 XLS, 제이슨 등 다양한 포맷으로 내려 받거나 필요하면 API 전송도 가능하다.

이용 요금은 데이터 수집 범위에 따라 사용자가 선택할 수 있다. 기본 수집이 무료로 가능한 베이직 요금제 외에 스탠더드 요금제와 프로페셔널 요금제, 커스터마이징 플랜인 엔터프라이즈 요금제 등 데이터 수집 패턴과 범위에 따라 다양한 요금제를 마련했다. 스탠더드와 프로페셔널은 1일, 30일, 90일권 형태로 이용할 수 있다.

유펜솔루션 측은 정식 버전은 베타 버전보다 크롤링 엔진 기능을 높이고 데이터 수집 속도와 안정성도 끌어올리는 한편 스케줄링 기능을 통한 데이터 주기적 자동 수집, 수집 설정을 쉽게 해 워크플로를 사용자 친화적으로 개편했다고 설명하고 있다.

유펜솔루션은 창업 3년간 투자 유치 2건, 특허 등록 1건, 정부 과제 4건 등 성과를 기록한 바 있다. 신용보증기금과 IBK기업은행, 우리금융지주 우수 스타트업 프로그램에도 선정되어 보육 과정을 마쳤다. 회사 측은 “누구나 쉽고 편하게 데이터를 수집하고 활용하는 데이터 대중화 시대의 마중물이 될 것”이라고 비전을 강조하고 있다.