AI 기업들, 'robots.txt' 무시하고 웹 콘텐츠 무단 수집 논란

지난 30년 동안 웹 생태계는 법적 규제 대신 일종의 신사협정에 의존해 굴러왔습니다.

웹사이트 루트 디렉터리에 robots.txt라는 간단한 텍스트 파일을 두고 긁어가지 말아야 할 경로를 적어두면, 검색 엔진 크롤러들이 알아서 수집을 멈추고 돌아가는 방식이었습니다.

하지만 생성형 AI 붐이 불면서 이 오랜 약속이 빠르게 깨지고 있습니다.

규칙을 무시하고 담을 넘는 AI들

로이터 통신에 따르면, 콘텐츠 라이선싱 스타트업 톨비트(TollBit)는 발행사들에 보낸 서한에서 여러 AI 기업들이 robots.txt 프로토콜을 우회해 웹사이트 콘텐츠를 무단 수집하고 있다고 밝혔습니다.

톨비트는 발행사들의 서버 접속 로그를 분석한 결과, 특정 한두 곳이 아니라 여러 곳의 AI 에이전트가 robots.txt 차단 설정을 대규모로 무시하고 데이터를 긁어가는 패턴이 뚜렷하게 관찰됐다고 전했습니다.

이 같은 갈등은 이미 수면 위로 터져 나오고 있습니다. 최근 포브스(Forbes)는 AI 검색 스타트업 퍼플렉시티(Perplexity)가 자사의 심층 탐사보도 기사를 출처 표기나 사전 허가 없이 AI 요약에 무단 도용했다고 비판했습니다. 퍼플렉시티 측은 이 주장에 대해 입장을 내놓지 않았습니다.

1990년대 중반에 만들어진 robots.txt 규약은 당초 크롤러가 서버에 과도한 부하를 주는 것을 막기 위해 만들어졌습니다. 법적 강제력은 전혀 없지만 업계의 자발적 존중 속에 유지돼 왔습니다.

진퇴양난에 빠진 언론사와 웹사이트

콘텐츠 발행사들은 지금 심각한 딜레마를 겪고 있습니다.

구글 같은 검색 엔진이 도입한 AI 요약에 자사 기사가 쓰이는 것을 막으려고 robots.txt로 크롤러를 차단하면, 검색 결과 화면 자체에서 누락돼 트래픽이 급감하는 치명적인 타격을 입게 됩니다.

반대로 AI들이 robots.txt 자체를 무시하고 긁어간다면, 발행사는 트래픽만 잃고 콘텐츠는 그대로 털리는 최악의 상황을 맞이하게 됩니다.

이번 서한을 공개한 톨비트 역시 중립적인 관찰자만은 아닙니다. 톨비트는 AI 기업과 발행사 사이에서 유료 라이선스 계약을 중개하는 업체로, 지난 5월 기준 50개 웹사이트가 자사 서비스를 쓰고 있다고 밝혔습니다.

반면 대다수 AI 개발사들은 유료 구독 벽(paywall)으로 막혀 있지 않은 공개 웹페이지를 수집하는 것은 현행법 위반이 아니라는 입장을 굽히지 않고 있습니다.

왜 중요한가

우리는 이 사건이 단순히 오래된 기술 규약 하나가 깨진 것을 넘어, 개방형 웹(Open Web)의 공생 모델이 완전히 무너지고 있음을 보여주는 신호라고 봅니다.

그동안 웹사이트들이 크롤러를 허용했던 이유는 간단했습니다. 정보를 내주는 대신 검색 링크를 통한 방문자 트래픽을 돌려받았기 때문입니다. 하지만 생성형 AI는 트래픽은 주지 않은 채 요약본만 제공하고, 심지어 거부 의사를 밝힌 푯말까지 무시한 채 데이터를 가져가고 있습니다.

결국 발행사와 웹사이트 운영자들은 자발적 규약 대신 강력한 클라우드플레어 차단이나 엄격한 로그인 벽, 전면 유료화로 돌아설 수밖에 없을 것입니다.

AI 기업들이 당장의 학습 데이터를 얻기 위해 신사협정을 무시하는 방식은 단기적으로는 이득일지 몰라도, 장기적으로는 웹에서 양질의 원천 콘텐츠를 완전히 사라지게 만들어 결국 AI 스스로의 학습 기반을 무너뜨리는 위험한 자충수가 될 것으로 보입니다.