구글, 검색 노출 유지하며 AI 학습만 거부하는 'Google-Extended' 출시

웹사이트를 운영하고 있다면 지난 몇 달 동안 꽤나 억울한 딜레마를 겪었을 겁니다. 거대 테크 기업들이 내 콘텐츠를 긁어가 AI 모델을 학습시키는 건 뻔히 보이지만, 그렇다고 구글을 차단하자니 검색 결과에서 완전히 사라져 트래픽이 끊길 판이었기 때문입니다.

구글이 9월 28일 이 문제를 풀기 위한 새로운 제어 장치인 Google-Extended를 발표했습니다. 사이트 운영자가 구글 검색 결과에는 계속 노출되면서도, 자사 데이터가 구글의 AI 모델 학습에 쓰이는 것은 거부할 수 있게 만든 도구입니다.

검색 노출은 유지하고 학습 데이터만 뺀다

적용 방식은 웹 크롤러의 접근 권한을 지정하는 텍스트 파일인 robots.txt를 활용합니다. 여기에 Google-Extended 태그를 추가해 두면 구글 검색 봇의 인덱싱은 평소처럼 유지하면서 AI 학습용 데이터 수집만 골라 막을 수 있습니다.

구글은 지난 7월 챗봇 서비스인 Bard를 웹에서 긁어모은 공개 데이터로 학습시키고 있다고 인정한 바 있습니다.

구글의 설명에 따르면, 사이트 운영자는 이번 설정을 통해 자사 콘텐츠가 Bard나 Vertex AI의 생성형 API 성능을 개선하는 데 쓰일지 여부를 직접 관리할 수 있게 됩니다. 구글은 AI 활용이 늘어남에 따라 웹 게시자를 위한 기계 판독형 제어 방식을 계속해서 찾아 나갈 것이라고 덧붙였습니다.

오픈AI는 막아도 구글은 못 막던 미디어들

콘텐츠 업계는 이미 한참 전부터 AI 크롤러에 빗장을 걸어 잠그기 시작했습니다.

뉴욕타임스와 CNN, 로이터, 미디엄 같은 곳들은 오픈AI가 ChatGPT 학습용 데이터를 모으기 위해 돌리는 크롤러를 진작에 차단했습니다. 하지만 구글은 쉽게 건드릴 수 없었습니다. 검색 봇을 전면 차단하면 검색 트래픽이 통째로 날아가기 때문입니다.

뾰족한 기술적 방법이 없다 보니 뉴욕타임스 같은 일부 미디어는 이용 약관을 고쳐 자사 콘텐츠를 AI 학습에 쓰지 못하도록 법적인 경고를 날리는 방식을 택하기도 했습니다. 이번 Google-Extended는 이런 미디어들의 오랜 불만에 구글이 내놓은 타협안인 셈입니다.

왜 중요한가

콘텐츠 발행인이나 개인 창작자에게 이번 조치는 매우 실질적인 변화를 줍니다. 검색 노출을 포기하지 않고도 내 저작물이 빅테크의 공짜 AI 사료로 들어가는 걸 기술적으로 막아낼 수 있게 되었기 때문입니다. 오리지널 콘텐츠를 운영하는 사이트라면 지금 당장 robots.txt에 해당 태그를 넣을 가치가 충분합니다.

업계 전반으로 보면, 미디어들과의 저작권 소송 전쟁을 피하려는 구글의 영리한 계산이 엿보입니다. 오픈AI가 주요 언론사들로부터 일제히 크롤러 차단을 당하며 코너에 몰리자, 구글은 선제적으로 선택권을 쥐여주며 합업적인 이미지를 챙기려는 모습입니다.

다만 한계도 뚜렷합니다. robots.txt는 어디까지나 상호 신뢰에 기반한 선언일 뿐, 구글이 실제로 데이터를 학습에서 철저히 제외했는지 외부에서 검증할 방법이 없습니다. 게다가 이미 지난 몇 년간 크롤링되어 기존 모델의 밑바탕이 되어버린 과거 데이터에 대해서는 아무런 해결책이 되지 못한다는 점도 맹점입니다.