레딧, AI 데이터 무단 수집 막으려 인터넷 아카이브 차단 착수

예전에는 10년 전 레딧(Reddit)에서 사람들이 어떤 대화를 나눴는지 확인하고 싶을 때 인터넷 아카이브의 웨이백 머신(Wayback Machine)을 켜면 그만이었습니다. 하지만 이제 그 방법은 완전히 막히게 되었습니다.

레딧이 인터넷 아카이브의 크롤링을 대대적으로 차단하기 시작했습니다. 이유는 명확합니다. AI 기업들이 레딧의 플랫폼 정책을 피해 웨이백 머신에 저장된 과거 데이터를 우회 스크래핑해 모델 학습에 쓰고 있는 정황을 포착했기 때문입니다.

본문과 댓글은 전면 차단, 홈 페이지만 허용

레딧 대변인 팀 라스슈미트가 더 버지(The Verge)에 밝힌 내용에 따르면, 이번 차단 조치는 즉시 단계적으로 적용됩니다.

제한 수위는 매우 강력합니다. 웨이백 머신은 앞으로 레딧의 게시물 상세 페이지, 댓글, 이용자 프로필을 전혀 수집할 수 없습니다. 오직 Reddit.com의 메인 홈 페이지만 인덱싱할 수 있습니다.

결국 인터넷 아카이브에는 특정 날짜에 어떤 헤드라인과 게시물이 인기 있었는지만 남고, 정작 그 안에서 사람들이 나눈 구체적인 대화와 기록은 모두 사라지게 됩니다.

레딧 측은 인터넷 아카이브가 스스로 사이트를 방어하고, 삭제된 게시물을 함께 지우는 등 플랫폼의 개인정보 보호 정책을 준수할 수 있을 때까지 이용자를 보호하기 위해 접근을 제한한다고 주장했습니다. 웨이백 머신의 총괄 마크 그레이엄은 레딧과 오랜 관계를 유지해 왔으며 관련 논의를 계속 진행 중이라는 입장을 내놓았습니다.

돈을 내지 않으면 철저히 닫는 전략

레딧이 무단 스크래핑에 칼을 빼든 것은 이번이 처음이 아닙니다. 핵심은 데이터 자체가 아니라 '돈을 내느냐'입니다.

레딧은 지난해 초 구글과 검색 및 AI 학습 데이터를 제공하는 대형 계약을 체결했고, 오픈AI와도 파트너십을 맺었습니다. 반면 비용을 지불하지 않는 주요 검색 엔진의 크롤링은 전면 차단했습니다. 지난 6월에는 스크래핑을 중단하겠다고 해놓고 몰래 데이터를 긁어갔다며 앤스로픽(Anthropic)을 고소하기도 했습니다.

2023년 수많은 서드파티 앱을 강제 종료시키며 거센 반발을 샀던 API 유료화 사태 역시 발단은 AI 기업들의 무단 학습이었습니다. 레딧에게 수십 년간 쌓인 유저들의 대화 로그는 AI 시대의 가장 값비싼 자산이며, 구글과 오픈AI가 거액을 내는 마당에 비영리 아카이브를 통한 무료 백도어를 열어둘 이유가 없었던 셈입니다.

왜 중요한가

우리는 이번 조치가 AI 개발 붐이 어떻게 열린 인터넷의 공공 유산을 훼손하고 있는지를 여실히 보여주는 사례라고 봅니다.

일반 이용자와 연구자들에게는 뼈아픈 손실입니다. 웨이백 머신은 플랫폼이 글을 지우거나 계정이 사라져도 과거의 기록을 검증할 수 있는 마지막 보루였습니다. 이제 댓글과 상세 페이지가 차단되면서, 레딧이라는 거대한 디지털 역사는 플랫폼의 사유 재산 안으로 완전히 갇히게 되었습니다.

비즈니스 관점에서 보면 레딧의 행보는 매우 영악하고 빈틈이 없습니다. 비영리 단체의 캐시 데이터까지 철저히 틀어막음으로써 AI 스타트업들의 '우회로'를 원천 봉쇄했고, 구글이나 오픈AI와 맺은 라이선스 계약의 가치를 한층 더 끌어올렸습니다.

하지만 이면에 드리운 그림자도 짙습니다. 겉으로는 '이용자 프라이버시 보호'를 내세우면서, 뒤로는 똑같은 데이터를 빅테크에 수천만 달러를 받고 파는 모습은 모순적으로 보입니다. 플랫폼들이 제각기 문을 걸어 잠그면서, 인류가 함께 쌓아온 개방형 웹의 기억 자체가 사라지고 있습니다.