AI 기업들, 'robots.txt' 무시하고 웹 콘텐츠 무단 수집 논란
로이터에 따르면 콘텐츠 라이선스 스타트업 톨빗(TollBit)은 다수의 AI 기업이 웹 표준 규약인 robots.txt를 우회해 언론사 사이트를 무단 크롤링하고 있다고 밝혔다. 최근 포브스가 퍼플렉시티의 무단 전재를 비판한 데 이어, 발행사들이 AI를 막던 기존 방어벽이 사실상 무력화됐다는 지적이다.
로이터에 따르면 콘텐츠 라이선스 스타트업 톨빗(TollBit)은 다수의 AI 기업이 웹 표준 규약인 robots.txt를 우회해 언론사 사이트를 무단 크롤링하고 있다고 밝혔다. 최근 포브스가 퍼플렉시티의 무단 전재를 비판한 데 이어, 발행사들이 AI를 막던 기존 방어벽이 사실상 무력화됐다는 지적이다.