클라우드플레어, 퍼플렉시티의 웹사이트 무단 크롤링 우회 적발

웹사이트 대문에 '접근 금지' 팻말을 걸어두었는데, 상대방이 가발을 쓰고 이웃 주민 행세를 하며 몰래 들어온다면 어떨까요?

글로벌 네트워크 인프라 기업 클라우드플레어가 AI 검색 스타트업 퍼플렉시티를 향해 던진 고발이 바로 이와 같습니다. 클라우드플레어는 월요일, 퍼플렉시티가 크롤링을 명시적으로 거부한 웹사이트들을 상대로 신원을 위장해 무단으로 데이터를 수집해 왔다는 조사 결과를 공개했습니다.

크롬 브라우저로 둔갑해 차단을 우회한 AI 봇

이번 조사는 클라우드플레어 고객들의 불만에서 시작됐습니다. 웹사이트 운영자들이 Robots.txt 파일에 퍼플렉시티의 공식 크롤러를 차단하는 규칙을 명확히 설정했음에도 불구하고, 여전히 콘텐츠가 긁혀 나가고 있다는 제보가 잇따랐기 때문입니다.

클라우드플레어가 정밀 추적을 진행한 결과, 퍼플렉시티는 공식 봇이 차단당하면 즉각 다른 방식을 취했습니다. 기기 식별값인 유저 에이전트(User-Agent)를 조작해 맥OS 환경의 일반 구글 크롬 브라우저인 것처럼 위장했습니다. 여기에 대규모 네트워크 식별 번호인 ASN(자율 시스템 네트워크)까지 수시로 변경했습니다.

클라우드플레어는 머신러닝과 네트워크 신호를 결합한 핑거프린팅 기술로 이 위장 봇을 특정했다고 밝혔습니다. 이러한 우회 스크래핑은 수만 개 도메인에서 매일 수백만 건 규모로 발생하고 있었습니다.

퍼플렉시티는 즉각 반발했습니다. 제시 드와이어 퍼플렉시티 대변인은 테크크런치에 보낸 이메일에서 클라우드플레어의 게시글을 "영업용 홍보 글"이라고 일축하며, 첨부된 스크린샷은 어떠한 콘텐츠도 열람되지 않았음을 보여준다고 주장했습니다. 이어 후속 이메일을 통해 해당 블로그에 언급된 봇은 자신들의 것이 아니라고 선을 그었습니다.

현재 클라우드플레어는 퍼플렉시티의 봇을 공인 크롤러 목록에서 제외하고 새로운 차단 기술을 적용했습니다.

반복되는 무단 수집 논란

퍼플렉시티가 데이터 수집 문제로 도마 위에 오른 것은 이번이 처음이 아닙니다. 지난해에도 와이어드(Wired) 등 주요 언론사들로부터 콘텐츠를 무단 표절했다는 비판을 받았습니다. 당시 디스럽트 2024 콘퍼런스에서 아라빈드 스리니바스 CEO는 표절의 정의를 묻는 기자의 질문에 말문이 막히기도 했습니다.

반면 클라우드플레어는 AI 크롤러에 대항하는 전선을 빠르게 구축하고 있습니다. 지난달에는 웹사이트 소유자가 AI 스크래퍼에게 데이터 접근 비용을 청구할 수 있는 마켓플레이스를 선보였습니다. 매튜 프린스 클라우드플레어 CEO는 AI 기업들의 무단 수집이 인터넷 생태계와 언론사의 비즈니스 모델을 파괴하고 있다고 강력히 경고해 왔습니다.

왜 중요한가

퍼플렉시티를 일상적인 검색 도구로 쓰는 일반 사용자에게 이번 사건은 AI 답변의 출처가 얼마나 위태로운 모래성 위에 놓여 있는지를 보여줍니다. 웹사이트들이 방어벽을 높이고 데이터 유출을 원천 봉쇄할수록, AI가 내놓는 답변의 최신성과 정확도는 직접적인 타격을 입게 됩니다.

우리는 퍼플렉시티의 이번 대응 방식에 상당한 위험이 따른다고 봅니다. 차단당한 크롤러 대신 일반 데스크톱 브라우저로 둔갑해 데이터에 접근하는 행위는 웹 생태계가 오랜 세월 지켜온 Robots.txt라는 상호 신뢰 규약을 정면으로 위반하는 처사입니다. 이는 창작자 및 언론사들과의 관계를 더욱 악화시킬 뿐입니다.

산업 전반으로 보면 클라우드플레어의 전략이 매우 정교하게 맞아떨어지고 있습니다. AI 크롤러 과금 마켓플레이스를 출시하자마자 퍼플렉시티의 우회 행태를 공개 저격하면서, 스스로를 콘텐츠 생태계의 든든한 방패로 각인시켰습니다. 앞으로 AI 검색 기업들은 정당하게 사용료를 지불하고 계약을 맺든, 아니면 강력해진 차단 기술 앞에 갇히든 중대한 기로에 서게 될 것입니다.