레딧·야후, AI 기업에 사용료 청구하는 'RSL' 표준 지지

AI 기업들의 무단 데이터 크롤링에 맞서 웹사이트들이 취할 수 있는 선택지는 극단적이었습니다. robots.txt를 사용해 문을 완전히 걸어 잠그거나, 거대 언어모델 개발사와 개별적으로 수백억 원대 독점 계약을 맺는 것뿐이었습니다. 협상력이 없는 중소 사이트는 사실상 콘텐츠를 무상으로 내줄 수밖에 없었습니다.

이런 판도를 바꾸기 위해 RSS 표준을 만든 주역들이 웹 퍼블리셔들을 규합해 새로운 과금 표준을 들고나왔습니다.

레딧, 야후, 미디엄, 쿼라, 위키하우 등 주요 글로벌 플랫폼들은 AI 모델 학습용 데이터 수집에 정당한 대가를 요구할 수 있는 오픈 라이선싱 표준인 RSL(Really Simple Licensing)을 지원한다고 발표했습니다.

robots.txt에 라이선스 계약서를 심는다

RSL 표준은 RSS의 공동 창시자인 에카르트 발터와 IAC 퍼블리싱 전 최고경영자 더그 리즈가 이끄는 단체 RSL 콜렉티브가 주도합니다.

기존 robots.txt가 봇의 접근 허용 여부만 지정했다면, RSL은 이 파일 안에 라이선스 조건과 로열티 요구 사항을 직접 기록할 수 있도록 확장했습니다. 전자책이나 영상, 학습용 데이터셋 자체에 조건을 심는 것도 가능합니다.

과금 방식도 다양합니다. 정기 구독형 모델은 물론, AI 봇이 페이지를 긁어갈 때마다 과금하는 크롤링당 결제, AI가 질문에 답하면서 해당 콘텐츠를 참조했을 때 대가를 받는 추론당 결제 모델까지 지원합니다. 검색엔진 노출이나 웹 아카이브를 위한 기존 크롤링은 이전처럼 무료로 유지됩니다.

표준을 강제하기 위한 기술적 장치로는 글로벌 CDN 기업 패스틀리와 손을 잡았습니다. RSL이 라이선스 계약 여부를 확인하는 신분증을 발급하면, 패스틀리가 문지기 역할을 맡아 계약을 맺지 않은 AI 크롤러의 사이트 진입을 차단하는 구조입니다.

음악 저작권 단체 모델 벤치마킹

RSL 콜렉티브는 미국 음악 저작권 단체인 ASCAP처럼 집단적 권리 관리 기구 역할을 표방합니다. 만약 AI 기업이 무단으로 데이터를 긁어가면 단체 차원에서 법적 대응을 진행하고 소송 비용을 분담합니다.

더그 리즈는 대형 플랫폼들이 뭉쳐야 AI 기업들을 협상 테이블로 끌어낼 수 있다고 강조했습니다. 한 번에 모든 사이트와 정당하게 계약하든가, 아니면 한 번에 수많은 대형 플랫폼을 상대로 저작권 침해 소송을 치르든가 양자택일하라는 압박입니다.

왜 중요한가

우리는 RSL이 완전히 새로운 기술을 억지로 만들기보다 이미 수십 년간 검증된 robots.txt와 CDN 인프라 위에 숟가락을 얹은 방식이 영리하다고 봅니다. 빅테크와 일대일로 마주 앉을 수 없는 개인 창작자나 중소 웹사이트에게도 표준화된 수익화 경로가 열릴 수 있기 때문입니다.

하지만 현실적인 한계 역시 뚜렷해 보입니다. 특히 모델이 답변을 생성할 때 데이터를 인용하면 돈을 받는 추론당 과금 모델은, AI 기업이 시스템 내부 데이터를 투명하게 공개하지 않는 한 외부에서 입증할 방법이 없습니다.

더 큰 문제는 AI 기업들이 이미 robots.txt 지침을 무시하고 데이터를 긁어가는 사례가 빈번하다는 점입니다. 게다가 AI 학습의 공정 이용 여부를 둘러싼 법적 판례도 아직 확립되지 않았습니다. 패스틀리 외에 클라우드플레어나 AWS 같은 대형 인프라로 방어선이 넓어지지 않는다면, 빅테크가 문지기를 피해 다른 경로로 데이터를 빼가는 행태를 막기는 쉽지 않을 것입니다.