跳到正文
IFAI

行业动态

边竞争边借力:OpenAI 被曝调用 Google 搜索数据喂养 ChatGPT

首次发布 传播指数 47

据外媒报道,OpenAI 正通过抓取服务 SerpApi 获取 Google 搜索数据,用于支持 ChatGPT 处理新闻、体育和金融等实时查询。尽管 Google 去年曾明确拒绝向其开放索引,但 OpenAI 自建索引仍难覆盖全部长尾搜索需求。

商场上最微妙的关系,大概就是我天天想着怎么干掉你,转头却还在偷偷用你的核心数据打底。

据 The Information 报道,OpenAI 一直在通过一家叫 SerpApi 的第三方抓取服务,悄悄把 Google 的搜索结果扒下来,用来训练并驱动 ChatGPT。尤其在新闻、体育比分和金融市场这类需要极高实时性的领域,ChatGPT 很多时候调用的其实是 Google 的劳动成果。

敲不开正门,就从侧面翻墙

其实去年 OpenAI 就去找过 Google,想光明正大地花钱接入后者的搜索索引,结果当场被 Google 严词拒绝。这事在后来美国司法部对 Google 的反垄断诉讼文件里写得清清楚楚。

但这没能挡住 OpenAI。正门走不通,它们就找了位于得州奥斯汀的数据抓取服务商 SerpApi。有意思的是,SerpApi 原本还在官网上公开挂出 OpenAI 是自己的客户,后来大概是觉得太惹眼,又悄悄撤掉了。

有这个需求的不止 OpenAI 一家,Meta、Apple 以及 OpenAI 在搜索领域的直接对手 Perplexity,都在 SerpApi 的客户名单上。而为了支撑 ChatGPT 的庞大算力,OpenAI 甚至还在租用 Google Cloud 的服务器,可以说是把商业上的务实主义发挥到了极致。

抓现行的假网页实验

ChatGPT 到底有没有用 Google 搜索,外部开发者其实早就用钓鱼实验测出来了。

前 Google 工程师 Abhishek Iyer 之前做过一个测试,他故意制作了几个完全捏造的假网页,而且确保这些网页只被 Google 的搜索引擎抓取并建了索引。随后他拿着相关问题去问 ChatGPT,结果 ChatGPT 直接吐出了那些假网页上的内容。

这几乎坐实了 ChatGPT 在调用 Google 的搜索结果摘要。OpenAI 虽然手里有微软 Bing 的搜索接口,自己也在拼命跑爬虫,但遇到冷门内容或长尾问题,两家的索引质量跟 Google 比还是差得太远。

OpenAI 内部对此心知肚明。在今年早些时候的一场法庭证词中,OpenAI 员工 Nick Turley 就坦白承认过,他们设想过让自家索引承担 80% 的搜索流量,但目前连这个目标的边都还没摸到。至于 100% 靠自己,在现阶段根本不可操作。

为什么重要

站在用户的角度,这并不是什么坏事。你现在用 ChatGPT 查最近的赛果或突发新闻,能拿到还算靠谱的答案,很大程度上得感谢它背后兜底的 Google 数据。不过我们认为,如果你要查极其专业、冷门或必须百分之百准确的信息,现在依然不值得把 ChatGPT 当成首选搜索引擎,直接去搜原始网页通常更稳妥。

对行业来说,这暴露出 AI 时代的搜索护城河到底有多深。ChatGPT 哪怕每周有 7 亿活跃用户、年收入奔着 100 亿美元去,面对 Google 一年 5 万亿次的搜索底座,依然只是个小学生。没有十几二十年积累的网页快照、反作弊和长尾索引,光靠大语言模型根本撑不起一个真正的搜索产品。

我们认为 OpenAI 这一步走得相当狡黠,甚至有点趁火打劫的味道。Google 明知道对手在抓自己的数据,却因为正被司法部盯着反垄断调查,生怕起诉第三方抓取服务会落下「垄断打压」的口实,只能眼睁睁看着。但这种寄生打法最大的隐患在于脆弱性,一旦监管环境生变或者 Google 狠下心升级反爬,OpenAI 的实时搜索能力很可能会当场露馅。

来源 (2)

  1. [1]
    theinformation.com(在新标签页打开)原文theinformation.com
  2. [2]

每日 AI 内容精选