클라우드플레어, AI 크롤러 전면 차단 및 건당 유료화 기능 도입

그동안 AI 기업들은 웹사이트의 데이터를 마음대로 긁어가며 모델을 학습시켰지만, 정작 원작자들에게는 유입 트래픽조차 돌아가지 않았습니다.

전 세계 인터넷 트래픽의 상당수를 처리하는 Cloudflare가 이 같은 무단 크롤링에 제동을 걸고 나섰습니다.

Cloudflare는 화요일 웹사이트 소유자가 AI 챗봇의 크롤링을 완전히 차단하거나, 사이트 접근 시 요금을 부과할 수 있는 새로운 기능을 발표했습니다.

공동 창업자이자 CEO인 Matthew Prince는 웹이 AI 크롤러에 의해 노천 채굴을 당하고 있으며, 정작 창작자들은 트래픽도 가치도 거의 얻지 못하고 있다고 지적했습니다.

세 가지 선택지와 통행료

새로운 기능은 웹사이트 운영자에게 세 가지 옵션을 제공합니다.

첫째는 AI 봇의 무료 접근을 전면 허용하는 것이고, 둘째는 모든 AI 챗봇을 전면 차단하는 것입니다.

가장 눈에 띄는 셋째는 사이트 전체에 요청당 고정 요금을 설정해 크롤링할 때마다 비용을 청구하는 방식입니다.

특정 파트너사와 별도의 콘텐츠 제휴를 맺은 경우에는 해당 크롤러만 예외로 두어 무료로 통과시킬 수도 있습니다.

Cloudflare는 이를 온라인 콘텐츠 통제 방식의 기술적 전환이라 부르며, 창작자가 자신의 저작물 접근 권한을 쥐게 될 것이라고 밝혔습니다.

65퍼센트 급증한 크롤러

이번 조치는 최근 AI 크롤링 활동이 걷잡을 수 없이 늘어난 상황과 맞닿아 있습니다.

Cloudflare에 따르면 최근 6개월 동안 AI 학습 목적의 크롤링 활동은 무려 65%나 급증했습니다.

이미 지난해 7월 AI 봇을 한 번의 클릭으로 차단하는 기능을 선보였을 때도 백만 명 이상의 사용자가 이를 활성화한 바 있습니다.

Cloudflare의 2023년 3분기 보고서 기준 전 세계 인터넷 트래픽의 약 16%가 이 회사를 거쳐 갑니다.

Prince는 콘텐츠가 AI 엔진을 움직이는 연료인 만큼, 콘텐츠 제작자가 직접 보상을 받는 것이 지극히 당연하다고 강조했습니다.

왜 중요한가

개인 창작자나 중소 웹사이트 운영자에게 이번 기능은 매우 강력한 무기가 됩니다.

대형 미디어처럼 거대 AI 기업과 개별 데이터 판매 계약을 맺을 힘이 없던 사이트도, 버튼 몇 번으로 콘텐츠에 통행료를 매길 수 있게 되기 때문입니다.

우리는 Cloudflare가 보안 인프라를 넘어 인터넷 데이터 거래의 결제 중개자로 영리하게 자리 잡았다고 평가합니다.

다만 막대한 자본을 가진 대기업 AI 랩은 요금을 내고 데이터를 사 가겠지만, 오픈소스 진영이나 초기 스타트업은 데이터 수집 비용을 감당하기 어려워질 가능성이 높습니다.

누구나 자유롭게 데이터를 긁어모아 학습시키던 오픈 웹의 시대는 저물고, 모든 텍스트에 가격표가 붙는 시대가 시작되고 있습니다.