Tow 中心評測：ChatGPT 搜尋新聞常犯錯，語氣卻過度自信

如果你平時用搜索引擎查資料，最怕的可能不是「搜不到」，而是它信誓旦旦給你一個答案，結果全是編的。

哥倫比亞大學 Tow 數字新聞中心最近就給 OpenAI 的 ChatGPT 搜尋功能做了一次摸底考試。結果顯示，這個被寄予厚望的搜尋工具在面對新聞信源時，不僅表現極不穩定，而且錯得相當離譜。

200 道考題，翻車了 153 次

測試的方法很直接：研究人員從 20 家主流媒體中挑出了 200 句新聞引言，直接扔給 ChatGPT 搜尋，讓它找出出處。

這本該是搜尋引擎的看家本領，但結果讓人大跌眼鏡：在 200 次回答中，ChatGPT 有 153 次給出了部分或完全錯誤的回答，翻車率超過了七成。

比錯誤率更讓人頭疼的是它的自信。

在全部 200 次測試裡，ChatGPT 僅僅有 7 次老老實實承認自己「找不到原文章」，或者使用了「似乎」「可能」這種不確定的措辭。而在剩下的 140 多次錯誤裡，它全部用極度肯定的語氣給出了假答案。

測試中還有 40 條引言特意選自那些明確遮蔽了 OpenAI 爬蟲的媒體。按理說 AI 根本看不到原文，但它依然面不改色地胡編了一個來源。

更尷尬的是，即便面對那些已經和 OpenAI 簽了資料共享協議的合作媒體，ChatGPT 也沒能準確識別出引言出處。

張冠李戴，還給抄襲網站送流量

研究人員在報告中記錄了幾個非常典型的翻車現場。

比如，《奧蘭多哨兵報》刊登過一封讀者來信，ChatGPT 搜尋卻一口咬定這段話出自《時代》週刊的一篇正經報道，直接張冠李戴。

另一個案例更黑色幽默：面對《紐約時報》一篇關於瀕危鯨魚的報道引文，ChatGPT 確實給出了包含原文的網頁連結，但那個連結根本不是《紐約時報》，而是一個全文洗稿抄襲紐時的山寨網站。

面對這份報告，OpenAI 向《哥倫比亞新聞評論》回應稱，由於 Tow 中心沒有公開具體的資料和測試方法，他們很難具體排查。OpenAI 還強調，這種測試方式屬於產品的「非典型測試」，並承諾會持續最佳化搜尋結果。

為什麼重要

我們認為，這項研究直接打中了當前 AI 搜尋最致命的軟肋。

對普通使用者和研究人員來說，如果你打算用 ChatGPT 搜尋來做嚴謹的事實核查、學術溯源或找新聞出處，現在最好徹底打消這個念頭。它不僅無法替代傳統搜尋，還會用極其篤定的語氣把你帶偏，驗證成本反而比自己搜還要高。

對內容行業而言，這也是個相當糟糕的訊號。OpenAI 近一年來一直在拉攏出版商簽署授權協議，但測試證明，簽了協議並不意味著內容能被正確索引。更危險的是，它把正規媒體的內容連結引向洗稿抄襲網站，這對原本就對 AI 極其警惕的傳統媒體生態來說，簡直是在傷口上撒鹽。

至於 OpenAI 辯稱的「非典型測試」，在我們看來很難站得住腳。拿著一句話去搜出處，恰恰是搜尋引擎最基礎、最日常的使用場景之一。ChatGPT 搜尋的問題從來不是能力不夠，而是「不懂裝懂」的底層機制依舊沒有改變。只要這種盲目自信的幻覺還在，它就很難成為嚴肅資訊檢索的合格替代品。