구글, IETF 통합 AI 학습 제어 표준 도입…robots.txt로 한 번에 거부
구글이 오픈AI, 앤트로픽, 빙에 이어 IETF AIPREF 표준을 자발적으로 채택한다고 발표했다. 웹사이트 운영자는 크롤러마다 개별 설정할 필요 없이 robots.txt 내 통일된 식별자로 여러 AI 개발사의 학습 데이터 수집 거부를 한 번에 설정할 수 있게 된다. 구글은 2027년 초 지원을 시작할 계획이다.
Google-Extended
클라우드플레어, AI 크롤러에 최후통첩: 검색과 학습 분리 안 하면 기본 차단
클라우드플레어가 AI 기업들에게 웹 검색용 크롤러와 AI 학습 및 에이전트용 크롤러를 분리하라고 요구했다. 2026년 9월 15일부터 혼합 크롤러는 광고가 실린 웹페이지에서 기본 차단된다. 검색 노출을 내세워 AI 학습 데이터를 무단 수집하는 관행을 막고, 퍼블리셔가 콘텐츠 활용에 대한 정당한 보상을 받도록 유도하는 조치다.
구글, 검색 노출 유지하며 AI 학습만 거부하는 'Google-Extended' 출시
구글은 웹사이트 운영자가 검색 노출을 유지하면서 AI 학습 데이터 수집만 거부할 수 있는 'Google-Extended'를 발표했다. robots.txt 파일에 태그를 넣는 방식이며, 사이트 운영자는 검색 유입을 포기하지 않고도 Bard와 Vertex AI의 데이터 스크래핑을 차단할 수 있게 됐다.