구글, IETF 통합 AI 학습 제어 표준 도입…robots.txt로 한 번에 거부

웹사이트를 운영해 본 사람이라면 누구나 최근 1~2년 사이 비대해진 robots.txt 파일 때문에 골머리를 앓았을 것이다.

새로운 AI 모델이 등장할 때마다 전용 크롤러 차단 구문을 한 줄씩 추가해야 했고, 자칫 하나라도 빠뜨리면 공들여 만든 콘텐츠가 그대로 학습 데이터로 빨려 들어갔다.

구글은 오픈AI, 앤트로픽, 마이크로소프트 빙에 이어 인터넷 엔지니어링 태스크포스(IETF)에서 논의 중인 AIPREF 표준을 자발적으로 채택한다고 발표했다.

한 줄의 공통 토큰으로 학습 거부 일원화

이 기능은 IETF AIPREF 워킹그룹의 제안에 기반한다. 핵심은 복잡했던 크롤러 관리 절차를 단 한 단계로 줄이는 것이다.

웹사이트 운영자는 이제 개발사별 봇을 일일이 나열할 필요 없이, robots.txt에 "user-agent: __usage_ai-training"이라는 공유 정책 토큰을 삽입해 참여 기업 전반에 AI 학습 거부 의사를 전달할 수 있다.

구글은 크롤러 관련 공식 안내 페이지를 업데이트하며 2027년 초부터 이 공통 신호를 정식 지원할 계획이라고 명시했다.

구글 검색 애드보킷 존 뮬러(John Mueller)에 따르면, 웹사이트가 이 공통 토큰으로 학습을 거부하고 Google-Extended를 별도로 지정하지 않은 경우 구글은 이를 Google-Extended 차단으로 간주해 처리한다.

개별 옵션 유지와 남겨진 숙제들

기존 기업별 제어 방식이 완전히 사라지는 것은 아니다.

공통 신호로 대다수 AI의 학습을 막아두더라도, 특정 개발사에게만 예외를 허용하는 맞춤 설정은 여전히 가능하다.

구글 역시 Google-Extended를 허용한 웹사이트만 Gemini Apps 내 응답 생성 및 유입 링크 클릭을 얻을 수 있다는 점을 분명히 했다.

이번 초안은 EU AI 법의 범용 AI(GPAI) 실무 규범 방향과 일치하지만, 표준 완성까지는 잡음도 적지 않다.

IETF 논의에 참여 중인 네이트 헤이크(Nate Hake)는 X를 통해 현재 초안이 최종 확정된 것이 아니며, 일반 사용자의 행동으로 유발된 수집 행위는 예외로 두는 등 창작자를 모방 AI로부터 보호하지 못하는 맹점이 여전히 남아있다고 지적했다.

왜 중요한가

웹사이트 운영자와 콘텐츠 제작자 입장에서는 관리 피로를 덜어줄 반가운 소식이지만, 지금 당장 robots.txt를 수정할 필요는 없다. 구글의 정식 도입 시점은 2027년 초이며 표준 초안도 여전히 조정 중이기 때문이다.

빅테크들이 자발적으로 표준 도입에 나선 것은 착해서가 아니다. 유럽을 중심으로 한 각국 규제 당국의 압박과 전 세계 콘텐츠 기업들의 저작권 소송을 방어하기 위한 현실적인 타협책이다.

우리는 구글의 행보가 매우 계산적이라고 본다. 개방형 표준을 수용한다는 명분을 챙기면서도, Gemini의 검색 유입 트래픽을 볼모로 잡아 웹마스터들이 Google-Extended만큼은 따로 허용하도록 유도하고 있기 때문이다.

결국 robots.txt는 법적 강제성이 없는 자발적 약속이라는 한계를 안고 있다. 메이저 기업들은 따르겠지만, 음지에서 돌아가는 수많은 스크래퍼까지 이 한 줄로 막아내기는 어렵다.