레딧, 미계약 검색엔진 및 AI 크롤러 차단… 최신 검색은 구글만 가능

검색 결과에 넘쳐나는 AI 생성 콘텐츠를 피해 신뢰할 수 있는 사람의 답변을 찾으려고 검색창 뒤에 'Reddit'을 붙여 검색하던 사용자라면 이제 검색 습관을 바꿔야 할지도 모릅니다.

404 Media 보도에 따르면, 레딧이 최근 몇 주 동안 주요 검색 엔진의 웹 크롤러 차단 조치를 대폭 강화했습니다. 현재 레딧의 최신 게시물과 댓글을 검색 결과에 정상적으로 보여주는 주요 검색 엔진은 구글이 유일합니다.

돈을 내지 않으면 검색 요약조차 차단

현재 빙, 덕덕고, 모직, 크완트 등 구글 인덱스에 의존하지 않는 대체 검색 엔진에서 'site:reddit.com'을 입력해 검색하면 지난 일주일 동안 올라온 최신 글이 전혀 나오지 않습니다. 덕덕고의 경우 몇 개의 링크가 뜨기는 하지만 사이트에서 허용하지 않아 설명을 표시할 수 없다는 안내만 뜹니다.

독립 유료 검색 엔진인 카기에서는 여전히 레딧 검색이 되는데, 이는 카기가 검색 인덱스 일부를 구글에서 사 오고 있기 때문입니다.

이 같은 전면 차단은 레딧이 7월 1일 자사 웹사이트의 크롤러 접근 규칙인 robots.txt 파일을 업데이트하면서 시작되었습니다. 레딧의 최고법률책임자인 벤 리는 계약을 맺지 않은 기업들에 레딧 데이터에 접근해서는 안 된다는 신호를 보낸 것이라고 밝혔습니다.

이에 대해 마이크로소프트 대변인 케이틀린 롤스턴은 자사 생성형 AI 모델에 웹페이지 콘텐츠가 쓰이는 것을 원치 않는 사이트의 지침을 존중해, 레딧이 규칙을 바꾼 7월 1일부터 빙의 크롤링을 중단했다고 확인했습니다.

6000만 달러 AI 계약 뒤에 세워진 장벽

구글만 이 차단망에서 살아남은 배경에는 양사가 체결한 6000만 달러 규모의 데이터 라이선스 계약이 있습니다. 구글은 이 대가를 지불하고 레딧 콘텐츠를 자사 AI 모델 학습에 활용할 권리를 확보했습니다.

물론 레딧 대변인 팀 래스슈미트는 구글과의 파트너십 때문이 아니라고 해명했습니다. 여러 검색 엔진과 논의를 진행해 왔으나, 일부 기업이 AI 활용을 포함한 데이터 이용 규정을 지키겠다는 강제력 있는 약속을 하지 않아 합의에 이르지 못했다는 설명입니다.

하지만 모직의 CEO 콜린 헤이허스트는 레딧이 구글을 제외한 모든 검색 엔진을 죽이고 있다고 강하게 비판했습니다.

상장을 전후해 수익원을 다각화하려는 레딧은 지난 1년간 데이터 접근 통제를 꾸준히 강화해 왔습니다. 써드파티 개발자용 API 가격을 대폭 올려 기존 앱들을 압박한 데 이어, 공짜 크롤링을 전면 차단하며 대형 플랫폼의 폐쇄성을 극대화하고 있습니다.

왜 중요한가

일반 사용자 입장에서는 인터넷에서 사람이 직접 남긴 생생한 후기를 찾기가 훨씬 불편해졌습니다. AI가 쏟아내는 그럴듯한 텍스트를 피하려고 레딧을 검색 쿼리에 붙여 쓰는 것이 일종의 생존법이었는데, 이제 그 통로가 구글 검색 하나로 사실상 강제됩니다.

검색 시장 생태계에도 뼈아픈 타격입니다. 구글의 독점에 대한 우려가 커지는 상황에서, 가장 가치 있는 대규모 사용자 텍스트 자산이 막대한 자금력을 가진 구글의 전유물로 굳어지고 있습니다. 수천만 달러의 라이선스 비용을 감당하기 힘든 독립 검색 엔진들은 경쟁에서 더 뒤처질 수밖에 없습니다.

우리는 레딧의 이번 조치가 단기적인 재무 관점에서는 영리했을지 몰라도, 장기적으로는 위험한 자충수가 될 수 있다고 봅니다. 이용자들이 자발적으로 만든 공개 커뮤니티의 글을 유료 자산으로 묶어 개방형 웹과 단절시키는 방식은 결국 외부로부터의 새로운 유입을 가로막아 커뮤니티 자체의 생명력을 갉아먹을 가능성이 높습니다.