哪個大模型最不愛胡說八道？智譜與 Google 幻覺率 1.3% 並列第一

我們總下意識覺得，引數規模越大的 AI，懂得越多，自然也就越不容易胡說八道。

但資料分析機構 Visual Capitalist 引用 Vectara 最新的測試資料，直接打破了這個常識。在幻覺率最低的前十五名大模型榜單裡，拔得頭籌的反倒不是那些動輒千億引數的龐然大物，而是幾款以輕量見長的模型。

根據 Vectara 截至 2024 年 12 月 11 日的評測，智譜 AI 的開源模型 GLM-4-9B-Chat 和 Google 的 Gemini-2.0-Flash-Exp 表現最好，事實錯誤率雙雙壓到了 1.3%。緊隨其後的是 OpenAI 專門用來做推理縮水版的 o1-mini，幻覺率只有 1.4%。

小模型老老實實，大塊頭反倒容易添油加醋

所謂幻覺率，指的是大模型在生成答案時，給出虛假或者毫無根據資訊的頻率。IBM 對此有個很形象的定義：AI 捕捉到了根本不存在或人類看不出的規律，然後一本正經地輸出胡話。

這次 Vectara 的測試方式很直接，給每個模型塞 1000 篇短文件做摘要，再用專門的模型來抓其中的事實錯誤，最後折算出不一致率。

讓人意外的是，小模型不僅沒被甩開，甚至還反超了。比如 Intel 的 Neural-Chat-7B 幻覺率只有 2.6%，微軟的輕量模型 Phi-3.5-MoE 幻覺率是 2.5%，阿里巴巴的 Qwen2.5-7B-Instruct 拿到了 2.8%。

按照 Vectara 的說法，小尺寸模型不僅能做到和大模型持平的準確度，在特定場景下的幻覺率甚至還要更低。

大模型雖然綜合能力很強，但推理慢、費用貴、系統極其複雜。此前就有研究發現，像 Mistral 8x7B 這樣架構相對精簡的模型，在控制文本胡編亂造方面效果反而更穩。

榜單上的梯隊分化與 OpenAI 的基本盤

除了前幾名搶眼的小模型，榜單其餘位置被各家主流旗艦瓜分得清清楚楚。

在通用大模型基座方面，Google 的 Gemini 2.0 Flash 表現搶眼，比 OpenAI 的 GPT-4 幻覺率略低了 0.2 個百分點。

不過 OpenAI 展現出來的是極度驚人的全家桶穩定性。從 GPT-4o 的 1.5%、GPT-4o-mini 的 1.7%、GPT-4-Turbo 的 1.7%，到初代 GPT-4 的 1.8%，甚至連早期的 GPT-3.5-Turbo 都保持在 1.9%。

這說明 OpenAI 在同一種架構衍生出的各個檔位上，對事實一致性的校準做得非常嚴密，沒有因為體積縮水就出現斷崖式翻車。

中國團隊的代表除了登頂的智譜 GLM-4-9B，DeepSeek-V2.5 也以 2.4% 的低幻覺率排在第九名，表現超過了微軟的 Orca-2。

為什麼重要

這份榜單對天天做企業級落地或者搭智慧體的開發者來說，是個非常務實的提醒：別再迷信超大引數模型了。

如果你的核心需求是企業知識庫問答、長篇財報摘要、法律文書初篩或者客服質檢，完全沒必要花大價錢呼叫昂貴的大模型。像 GLM-4-9B、GPT-4o-mini 這種輕量模型，幻覺率不僅更低，推理速度還快得多，直接部署在本地或私有云上的成本也划算得多。

對整個行業而言，這會倒逼模型廠商重新評估堆引數的 ROI。以前大家覺得引數量越大越全能，現在看來，大模型在發散創作上確實厲害，但在嚴謹求實的歸納任務裡，小模型只要做好了專門調優，完全能做到更老實、更聽話。

不過我們認為，看待這個資料也要留個心眼。Vectara 這次測試依賴的是 1000 篇短文件摘要，在有明確上下文的「開卷考試」裡，小模型靠注意力集中佔了便宜；但如果換到沒有參考資料的開放式問答或者多步長邏輯推理中，小模型的知識儲備和抗幻覺能力還能不能守住，目前還要打個問號。