인터넷 아카이브 차단한 레딧, 이유는?

인터넷 아카이브는 인터넷상 모든 콘텐츠를 아카이브하는 웨이백 머신을 운영하고 있으며 소셜 게시판 레딧 콘텐츠도 아카이브 대상이 되고 있다. 하지만 스크래핑을 금지하고 있는 레딧 콘텐츠를 웨이백 머신 아카이브를 경유해 AI 훈련에 이용하는 기업이 존재한다는 게 밝혀져 레딧이 웨이백 머신에 의한 콘텐츠 아카이브를 차단하기 시작했다고 한다.

웨이백 머신은 인터넷상 모든 콘텐츠를 아카이브한다는 사명 일환으로 레딧상 페이지와 프로필, 댓글을 아카이브해왔다. 하지만 앞으로는 레딧 스크린샷만 아카이브되게 된다고 보도됐다.

레딧은 웨이백 머신으로부터 데이터를 스크래핑하고 있던 AI 기업명을 명확히 하지 않고 있지만 회사 측 관계자는 레딧은 AI 기업이 플랫폼 정책에 위반해 웨이백 머신으로부터 데이터를 스크래핑하고 있는 사례를 인식하고 있다고 밝혔다. 이 관계자는 AI 스크래핑에 대한 방어를 강화하기 위해 인터넷 아카이브 측이 강구해야 할 대책이 있다고 시사하며 인터넷 아카이브가 사이트를 보호하고 플랫폼 정책을 준수할 수 있게 될 때까지 자사는 레딧 사용자를 보호하기 위해 인터넷 아카이브에 의한 레딧 데이터로의 접근을 일부 제한한다고 언급했다.

한편 레딧 사용자 중에는 이미 삭제된 투고나 댓글을 조사하기 위해 웨이백 머신을 이용하고 있는 이들도 있다는 지적이다. 이런 사용자는 삭제된 투고나 댓글을 열람하기 위한 툴은 다른 곳에도 무수히 존재하며 웨이백 머신은 그런 목적으로 이용하기에 적합한 플랫폼이 아니라고도 언급하고 있다고 한다.

인터넷 아카이브는 레딧으로부터의 차단을 해제하기 위한 수정을 검토하고 있는지에 대해 언급하지 않았다. 한편 웨이백 머신 관계자는 대해 인터넷 아카이브는 레딧과 오랜 기간에 걸친 관계를 구축해왔으며 이 건에 대해 지속적인 논의를 계속하고 있다고 말했다.

한편 보도에선 레딧이 AI 기업에 의한 웨이백 머신 아카이브 활용을 제한하려고 하는 이유는 아마도 금전적인 이유에서일 것이라며 레딧이 오픈AI나 구글과 체결한 것과 같은 더 유리한 라이선스 계약 체결을 촉진하고 싶다고 생각하고 있는 것 같다고 짚었다. 또 오픈AI와의 계약 조건은 공표되지 않았지만 구글과의 계약은 6,000만 달러라고 보도됐다. 향후 3년간 레딧은 이런 라이선스스 계약으로 2억 달러 이상 이익을 올릴 것으로 예상된다고 한다. 실제로 레딧은 앤트로픽이 라이선스 계약 없이 레딧상 데이터를 AI 훈련에 이용했다며 고소했다. 관련 내용은 이곳에서 확인할 수 있다.