클라우드플레어 CEO "이용자들, AI 챗봇 출처 링크 안 누른다"

생성형 AI를 만드는 기업들은 늘 챗봇 답변 하단에 출처 링크를 달아두고 있다고 강조합니다. 남의 웹사이트 콘텐츠를 긁어가는 대신 방문자 트래픽을 돌려주고 있다는 일종의 면피성 주장입니다.

하지만 클라우드플레어(Cloudflare)의 CEO 매튜 프린스(Matthew Prince)가 악시오스(Axios)를 통해 공개한 현실은 전혀 다릅니다. 사용자들이 출처 링크를 거의 클릭하지 않으면서, 웹사이트로 유입되는 추천 트래픽이 바닥으로 곤두박질치고 있습니다.

방문자 한 명 얻으려고 6만 개 웹페이지를 내주는 현실

프린스가 공개한 수치는 충격적입니다. 10년 전 구글은 웹페이지 2개를 크롤링할 때마다 웹사이트에 방문자 1명을 보내줬습니다. 6개월 전에는 이 비율이 6페이지당 1명으로 줄더니, 지금은 18페이지를 긁어가야 겨우 방문자 1명을 보냅니다.

하지만 AI 챗봇들의 수치에 비하면 구글은 양반입니다.

오픈AI(OpenAI)는 6개월 전만 해도 250페이지를 크롤링해 방문자 1명을 보냈지만, 지금은 1,500페이지를 크롤링해야 방문자 1명이 들어옵니다.

앤트로픽(Anthropic)은 훨씬 더 심각합니다. 6개월 전에는 6,000페이지당 1명이었던 유입 비율이, 현재는 무려 60,000페이지를 긁어가야 고작 방문자 1명을 보내주는 수준으로 추락했습니다.

사용자들은 지난 몇 달 동안 AI 요약본을 더 신뢰하게 되었고, 굳이 원문 링크를 눌러보지 않습니다. 웹사이트 배너 광고로 먹고사는 언론사와 콘텐츠 발행자들에게는 당장 생존이 걸린 위기입니다.

무단 수집에는 AI 가짜 페이지로 맞불

더 큰 문제는 AI 기업들의 비매너입니다. 이미 2024년 여러 매체가 폭로했듯, AI 기업들은 웹사이트의 로봇 배제 표준(robots.txt)이나 크롤링 거부 명령을 버젓이 무시하고 데이터를 무단 수집해 왔습니다.

프린스는 크롤링 거부 설정이 되어 있어도 무단으로 긁어가는 대형 언어 모델 봇을 강제로 차단하는 도구를 개발 중이라고 밝혔습니다.

클라우드플레어는 지난 3월 이미 'AI 미궁(AI Labyrinth)'이라는 기술을 선보였습니다.

크롤링 거부 명령을 무시한 봇이 접근하면, AI가 실시간으로 그럴듯한 가짜 페이지를 끝없이 만들어 연결해 주는 방식입니다. 실제 사이트 콘텐츠는 전혀 보여주지 않은 채, 침입한 봇이 엉뚱한 가짜 데이터를 수집하느라 컴퓨팅 자원과 시간만 허비하게 만듭니다.

프린스는 인터뷰에서 전 세계 해커들의 공격을 매일 막아내고 있다는 점을 상기시키며, "팔로알토에 있는 기업의 괴짜 엔지니어 몇 명을 내가 못 막을 것 같으냐"며 강한 자신감을 보였습니다.

왜 중요한가

이번 통계는 AI 업계가 방패막이로 삼아온 '출처 표기를 통한 트래픽 보상' 논리가 완전히 허구였음을 증명합니다.

페이지 6만 개를 털리고 클릭 단 1회를 돌려받는 구조라면, 창작자가 웹에 양질의 정보를 무료로 공개할 이유는 사라집니다. 온라인 미디어와 콘텐츠 제작자는 배너 광고 기반의 PV 모델에 더 이상 기댈 수 없으며, 유료 구독 모델로 전환하거나 크롤러를 원천 차단하는 결단을 내려야 할 시점입니다.

클라우드플레어의 대응 방식은 매우 영리해 보입니다. 자율적인 규칙 준수를 구걸하는 대신, 인프라 단에서 가짜 데이터를 먹여 상대방의 자원을 낭비시키는 전략을 택했기 때문입니다. 결국 AI 기업들도 무단 수집에 따른 비용이 급증하면, 정당한 대가를 지불하고 정식 라이선스 계약을 맺는 협상 테이블로 나올 수밖에 없을 것으로 판단됩니다.