AI 학습 목적 스크래핑에 조건‧요금 통지하는 시스템 개발

AI 개발에는 막대한 데이터가 필요하며 AI 개발 기업은 인터넷상에 존재하는 온갖 정보를 자동 봇을 이용해 수집하고 있다. 이 스크래퍼에 대해 이용 조건이나 이용 요금을 제시할 수 있는 시스템인 RSL(Really Simple Licensing)이 개발됐다. 개발에는 RSS 개발진이나 오라일리 미디어 창업자인 팀 오라일리 등이 관여했으며 이미 야후나 레딧, 오라일리 미디어, 쿼라, 미디엄 등 서비스가 채택을 표명했다.

웹 개발자는 RSL을 이용해 AI 트레이닝 사용 금지, AI 트레이닝 사용을 제한 없이 허가, 이용 요금을 지불할 경우 AI 트레이닝 사용 허가 같은 정책을 스크래퍼에 통지할 수 있게 된다. RSL을 웹사이트에 통합하는 절차는 간단해서 루트 디렉터리에 라이선스 조항을 기재한 license.xml을 배치하고 license.xml 위치를 robots.txt에 추가하기만 하면 된다.

RSL은 또 웹사이트 내 각 페이지에 적용하는 것도 가능하다. 더 나아가 RSS 피드에 RSL을 추가해 RSS 피드를 라이선스 가능한 디지털 자산의 표준화된 카탈로그로 취급할 수도 있다.

RSL 운영위원회에는 RSS 공동 개발자인 에카르트 발저와 라마나산 V. 구하 외에도 오라일리 미디어 창업자인 팀 오라일리나 Fastly 공동 개발자인 사이먼 위스토 등이 이름을 올렸다.

또 이미 레딧, People Inc., 야후, Internet Brands, Ziff Davis, wikiHow, 오라일리 미디어, 미디엄, The Daily Beast, Miso.AI, Raptive, Ranker, Evolve Media 같은 퍼블리셔가 RSL 채택을 표명했다.

다만 RSL은 어디까지나 스크래퍼에 대해 라이선스 조항을 통지하기 위한 기능이며 스크래퍼가 라이선스 조항을 고려할지 여부는 미지수다. 실제로 AI 기업이 웹사이트 크롤링 금지 지시를 무시하고 정보를 수집했던 사례도 보고되고 있다. 관련 내용은 이곳에서 확인할 수 있다.