클라우드플레어, 콘텐츠 크롤링 차단 플랫폼 출시

클라우드 인프라 기업 클라우드플레어(Cloudflare)가 콘텐츠 소유자와 AI 기업 간 새로운 관계를 제시할 페이퍼크롤(pay per crawl)마켓플레이스 공개했다. 현재는 비공개 베타로 운영되며 웹사이트 소유자들이 AI 크롤러에게 콘텐츠 접근 권한을 판매하거나 차단할 수 있는 권한을 갖는다.

웹사이트 소유자는 개별 AI 크롤러마다 콘텐츠 접근을 허용하거나 차단할 수 있으며, 접근을 허용할 경우 페이지당 마이크로 페이먼트를 받을 수 있다. 반면 무료 허용도 가능하고 기존처럼 완전히 차단할 수도 있다.

회사에 따르면 현재 구글은 웹사이트를 14번 크롤할 때 1번 방문을 유도하지만 오픈AI는 1,700번 크롤에 1번 방문 앤트로픽은 7만 3,000번 크롤에 1번 방문으로 콘텐츠 제공자에게 돌아오는 혜택이 미미한 것으로 나타났다.

클라우드플레어는 향후 AI 에이전트 중심 웹 환경을 염두에 두고 있으며 이용자가 특정 정보 검색을 요청하면 AI 에이전트가 예산을 바탕으로 콘텐츠를 구매해 전달하는 구조를 구상하고 있다. 이에 따라 콘텐츠 소유자는 단순히 검색 트래픽에 의존하지 않고도 콘텐츠 기반 수익을 창출할 수 있게 된다. 향후 AI 에이전트 중심 웹 환경을 염두에 두고 있으며, 이용자가 특정 정보 검색을 요청하면 AI 에이전트가 예산을 바탕으로 콘텐츠를 구매하여 전달하는 구조를 구상하고 있다. 이에 따라 콘텐츠 소유자는 단순히 검색 트래픽에 의존하지 않고도 콘텐츠 기반 수익을 창출할 수 있게 된다.