본문으로 건너뛰기
IFAI

업계 동향

경쟁하면서 데이터는 쓴다… OpenAI, ChatGPT에 구글 검색 결과 활용 포착

게시 확산 지수 47

The Information 보도에 따르면 OpenAI가 웹 스크래핑 서비스 SerpApi를 통해 구글 검색 데이터를 수집, ChatGPT의 실시간 정보 답변에 활용하고 있는 것으로 나타났다. 구글 검색과 직접 경쟁 중이지만 독자 인덱스만으로는 방대한 검색 정확도를 메우기 역부족인 상황이다.

경쟁자를 쓰러뜨리겠다며 만든 서비스의 밑바탕에, 정작 그 경쟁자의 핵심 데이터가 흐르고 있었습니다.

디 인포메이션(The Information) 보도에 따르면, OpenAI는 미국 텍사스주 오스틴 기반의 웹 스크래핑 서비스인 SerpApi를 통해 Google 검색 데이터를 긁어모아 ChatGPT의 학습과 실시간 답변에 활용해 왔습니다. 자체 구축 기술이 아직 부족한 실시간 뉴스, 스포츠 경기 결과, 금융 시장 데이터 등의 영역에서 Google의 검색 결과를 가져다 쓴 셈입니다.

정문이 막히자 우회로를 뚫다

이 사실이 유독 눈길을 끄는 이유는 두 회사의 껄끄러운 관계 때문입니다. 미국 법무부의 반독점 소송 과정에서 공개된 문서에 따르면, Google은 지난해 ChatGPT 성능 개선을 위해 검색 색인에 직접 접근하게 해달라는 OpenAI의 요청을 단칼에 거절했습니다.

하지만 OpenAI는 물러서지 않고 서드파티 중개 서비스인 SerpApi를 통해 우회했습니다. SerpApi는 한때 웹사이트 고객사 목록에 OpenAI를 버젓이 올려두었다가 슬그머니 내리기도 했습니다. 이 서비스를 이용하는 곳은 OpenAI뿐만이 아니며, Meta와 Apple, 검색 분야 경쟁사인 Perplexity도 고객사로 이름을 올리고 있습니다.

ChatGPT가 실제로 Google 결과를 쓴다는 정황은 외부 실험으로도 입증됐습니다. 전직 Google 엔지니어 아비셰크 아이어(Abhishek Iyer)는 Google 검색 색인에만 존재하는 가짜 웹페이지를 만든 뒤 ChatGPT에 물었습니다. 그러자 ChatGPT는 해당 가짜 페이지의 내용을 그대로 담아 답변했습니다.

OpenAI는 Microsoft Bing의 검색 API를 쓸 수 있고 자체 웹 크롤러도 돌리고 있지만, 길고 복잡한 롱테일 질의나 방대한 웹 정확도 면에서는 여전히 Google의 상대가 되지 못합니다. OpenAI의 닉 털리(Nick Turley) 역시 올해 초 법정 증언에서, 자체 색인으로 트래픽의 80%를 감당하겠다는 목표는 아직 까마득하며 100% 자립은 당장 실행 가능한 목표가 아니라고 털어놓았습니다.

왜 중요한가

일반 사용자 입장에서 보면, ChatGPT의 실시간 검색 답변이 생각보다 쓸만했던 이유가 결국 Google 덕분이었다는 점이 명확해졌습니다. 최신 스포츠 경기 결과나 단신 뉴스를 확인할 때는 유용하지만, 우리는 여전히 정확도가 생명인 복잡한 조사나 전문 정보 탐색에는 Google을 직접 이용하는 편이 훨씬 안전하다고 봅니다.

업계 관점에서는 생성형 AI 시대에도 검색 인프라의 해자가 얼마나 견고한지를 잘 보여줍니다. ChatGPT가 주간 활성 사용자 7억 명을 모으고 연간 100억 달러 매출을 바라본다 해도, 연간 5조 건 이상의 검색을 처리하는 Google의 방대한 크롤링 및 인덱싱 자산을 단숨에 대체할 수는 없습니다.

OpenAI의 이번 행보는 사업적으로는 매우 영리하지만 상당한 불안 요소를 안고 있습니다. Google은 현재 반독점 소송 탓에 SerpApi 같은 스크래핑 업체를 강하게 제재했다가 경쟁 제한이라는 역풍을 맞을까 봐 손을 놓고 있는 상황입니다. OpenAI는 규제의 틈새를 기막히게 파고들었지만, 경쟁사의 데이터 스니펫에 기생하는 구조인 만큼 Google이 기술적 차단을 강화하면 언제든 실시간 검색 기능의 품질이 흔들릴 수 있습니다.

출처 (2)

  1. [1]
    theinformation.com(새 탭에서 열림)원문theinformation.com
  2. [2]

매일 AI 콘텐츠 픽