Tow 中心评测：ChatGPT 搜索新闻常犯错，语气却过度自信

如果你平时用搜索引擎查资料，最怕的可能不是「搜不到」，而是它信誓旦旦给你一个答案，结果全是编的。

哥伦比亚大学 Tow 数字新闻中心最近就给 OpenAI 的 ChatGPT 搜索功能做了一次摸底考试。结果显示，这个被寄予厚望的搜索工具在面对新闻信源时，不仅表现极不稳定，而且错得相当离谱。

200 道考题，翻车了 153 次

测试的方法很直接：研究人员从 20 家主流媒体中挑出了 200 句新闻引言，直接扔给 ChatGPT 搜索，让它找出出处。

这本该是搜索引擎的看家本领，但结果让人大跌眼镜：在 200 次回答中，ChatGPT 有 153 次给出了部分或完全错误的回答，翻车率超过了七成。

比错误率更让人头疼的是它的自信。

在全部 200 次测试里，ChatGPT 仅仅有 7 次老老实实承认自己「找不到原文章」，或者使用了「似乎」「可能」这种不确定的措辞。而在剩下的 140 多次错误里，它全部用极度肯定的语气给出了假答案。

测试中还有 40 条引言特意选自那些明确屏蔽了 OpenAI 爬虫的媒体。按理说 AI 根本看不到原文，但它依然面不改色地胡编了一个来源。

更尴尬的是，即便面对那些已经和 OpenAI 签了数据共享协议的合作媒体，ChatGPT 也没能准确识别出引言出处。

张冠李戴，还给抄袭网站送流量

研究人员在报告中记录了几个非常典型的翻车现场。

比如，《奥兰多哨兵报》刊登过一封读者来信，ChatGPT 搜索却一口咬定这段话出自《时代》周刊的一篇正经报道，直接张冠李戴。

另一个案例更黑色幽默：面对《纽约时报》一篇关于濒危鲸鱼的报道引文，ChatGPT 确实给出了包含原文的网页链接，但那个链接根本不是《纽约时报》，而是一个全文洗稿抄袭纽时的山寨网站。

面对这份报告，OpenAI 向《哥伦比亚新闻评论》回应称，由于 Tow 中心没有公开具体的数据和测试方法，他们很难具体排查。OpenAI 还强调，这种测试方式属于产品的「非典型测试」，并承诺会持续优化搜索结果。

为什么重要

我们认为，这项研究直接打中了当前 AI 搜索最致命的软肋。

对普通用户和研究人员来说，如果你打算用 ChatGPT 搜索来做严谨的事实核查、学术溯源或找新闻出处，现在最好彻底打消这个念头。它不仅无法替代传统搜索，还会用极其笃定的语气把你带偏，验证成本反而比自己搜还要高。

对内容行业而言，这也是个相当糟糕的信号。OpenAI 近一年来一直在拉拢出版商签署授权协议，但测试证明，签了协议并不意味着内容能被正确索引。更危险的是，它把正规媒体的内容链接引向洗稿抄袭网站，这对原本就对 AI 极其警惕的传统媒体生态来说，简直是在伤口上撒盐。

至于 OpenAI 辩称的「非典型测试」，在我们看来很难站得住脚。拿着一句话去搜出处，恰恰是搜索引擎最基础、最日常的使用场景之一。ChatGPT 搜索的问题从来不是能力不够，而是「不懂装懂」的底层机制依旧没有改变。只要这种盲目自信的幻觉还在，它就很难成为严肃信息检索的合格替代品。