패트리온, 클라우드플레어와 손잡고 AI 학습용 크롤러 전면 차단

지금까지 웹사이트가 원치 않는 크롤러를 막는 표준 방식은 robots.txt 파일에 수집 거부 요청을 적어두는 것이었습니다. 하지만 대규모 AI 학습 데이터가 필요해진 기업들이 이 신사협정을 무시하기 시작하면서 상황이 달라졌습니다.

창작자 후원 플랫폼 패트리온(Patreon)이 결국 칼을 빼들었습니다. 패트리온은 클라우드플레어(Cloudflare)와 손잡고 창작자의 작업물을 무단 수집해 AI 학습에 쓰는 크롤러들을 네트워크 단에서 직접 차단하기 시작했다고 목요일 밝혔습니다.

신사협정 대신 직접 차단 선택

패트리온은 2023년 크롤러 억제책을 처음 도입한 이후 AI 봇들의 수집 방식이 훨씬 교묘해졌다고 설명했습니다. 패트리온 공식 블로그는 저작물 사용 동의 여부를 스크레이퍼가 규칙을 지킬지 말지라는 자비에 맡겨둘 수는 없다고 못 박았습니다.

플랫폼의 기능 변화도 영향을 미쳤습니다. 과거에는 창작물 대부분이 유료 구독 장벽 뒤에 숨어 있어 안전했지만, 최근 홈 피드를 개편하고 트위터 형태의 짧은 글 기능인 킵스(Quips)를 도입하면서 외부에 노출되는 공개 콘텐츠가 늘어났기 때문입니다.

패트리온이 클라우드플레어의 기술을 도입해 테스트한 결과, 특정 AI 학습용 크롤러의 주간 접근 시도는 수천 건에서 0건으로 완전히 사라졌습니다.

그렇다고 모든 크롤러를 막아버린 것은 아닙니다. 패트리온의 프로덕트 총괄 드루 라우니(Drew Rowny)는 일반 이용자를 패트리온으로 유입시켜 주는 검색 색인 목적의 봇은 계속 통과시킬 것이라고 밝혔습니다.

왜 중요한가

패트리온을 쓰는 창작자들에게 이번 조치는 실질적인 보호막이 됩니다. 내 작업물이 AI 학습 모델의 원료로 무단 활용될 걱정 없이 킵스 같은 공개 기능을 이용해 새로운 팬층을 확보할 수 있게 되었기 때문입니다.

업계 전반으로 보면 웹 생태계를 수십 년간 지탱해 온 robots.txt 식의 자율 규제가 AI 시대에는 더 이상 작동하지 않는다는 사실을 보여줍니다. 앞으로 콘텐츠 플랫폼들은 클라우드플레어 같은 인프라 기업과 손잡고 네트워크 레벨에서 강제로 문을 걸어 잠그는 방식을 택할 수밖에 없습니다.

검색 유입은 살려두고 학습용 봇만 골라 차단하겠다는 패트리온의 판단은 매우 현실적입니다. 다만 검색 색인과 AI 모델 학습을 동시에 수행하는 빅테크의 혼합형 크롤러를 앞으로 얼마나 빈틈없이 가려낼 수 있을지가 장기적인 숙제로 보입니다.