哪个大模型最不爱胡说八道？智谱与 Google 幻觉率 1.3% 并列第一

我们总下意识觉得，参数规模越大的 AI，懂得越多，自然也就越不容易胡说八道。

但数据分析机构 Visual Capitalist 引用 Vectara 最新的测试数据，直接打破了这个常识。在幻觉率最低的前十五名大模型榜单里，拔得头筹的反倒不是那些动辄千亿参数的庞然大物，而是几款以轻量见长的模型。

根据 Vectara 截至 2024 年 12 月 11 日的评测，智谱 AI 的开源模型 GLM-4-9B-Chat 和 Google 的 Gemini-2.0-Flash-Exp 表现最好，事实错误率双双压到了 1.3%。紧随其后的是 OpenAI 专门用来做推理缩水版的 o1-mini，幻觉率只有 1.4%。

小模型老老实实，大块头反倒容易添油加醋

所谓幻觉率，指的是大模型在生成答案时，给出虚假或者毫无根据信息的频率。IBM 对此有个很形象的定义：AI 捕捉到了根本不存在或人类看不出的规律，然后一本正经地输出胡话。

这次 Vectara 的测试方式很直接，给每个模型塞 1000 篇短文档做摘要，再用专门的模型来抓其中的事实错误，最后折算出不一致率。

让人意外的是，小模型不仅没被甩开，甚至还反超了。比如 Intel 的 Neural-Chat-7B 幻觉率只有 2.6%，微软的轻量模型 Phi-3.5-MoE 幻觉率是 2.5%，阿里巴巴的 Qwen2.5-7B-Instruct 拿到了 2.8%。

按照 Vectara 的说法，小尺寸模型不仅能做到和大模型持平的准确度，在特定场景下的幻觉率甚至还要更低。

大模型虽然综合能力很强，但推理慢、费用贵、系统极其复杂。此前就有研究发现，像 Mistral 8x7B 这样架构相对精简的模型，在控制文本胡编乱造方面效果反而更稳。

榜单上的梯队分化与 OpenAI 的基本盘

除了前几名抢眼的小模型，榜单其余位置被各家主流旗舰瓜分得清清楚楚。

在通用大模型基座方面，Google 的 Gemini 2.0 Flash 表现抢眼，比 OpenAI 的 GPT-4 幻觉率略低了 0.2 个百分点。

不过 OpenAI 展现出来的是极度惊人的全家桶稳定性。从 GPT-4o 的 1.5%、GPT-4o-mini 的 1.7%、GPT-4-Turbo 的 1.7%，到初代 GPT-4 的 1.8%，甚至连早期的 GPT-3.5-Turbo 都保持在 1.9%。

这说明 OpenAI 在同一种架构衍生出的各个档位上，对事实一致性的校准做得非常严密，没有因为体积缩水就出现断崖式翻车。

中国团队的代表除了登顶的智谱 GLM-4-9B，DeepSeek-V2.5 也以 2.4% 的低幻觉率排在第九名，表现超过了微软的 Orca-2。

为什么重要

这份榜单对天天做企业级落地或者搭智能体的开发者来说，是个非常务实的提醒：别再迷信超大参数模型了。

如果你的核心需求是企业知识库问答、长篇财报摘要、法律文书初筛或者客服质检，完全没必要花大价钱调用昂贵的大模型。像 GLM-4-9B、GPT-4o-mini 这种轻量模型，幻觉率不仅更低，推理速度还快得多，直接部署在本地或私有云上的成本也划算得多。

对整个行业而言，这会倒逼模型厂商重新评估堆参数的 ROI。以前大家觉得参数量越大越全能，现在看来，大模型在发散创作上确实厉害，但在严谨求实的归纳任务里，小模型只要做好了专门调优，完全能做到更老实、更听话。

不过我们认为，看待这个数据也要留个心眼。Vectara 这次测试依赖的是 1000 篇短文档摘要，在有明确上下文的「开卷考试」里，小模型靠注意力集中占了便宜；但如果换到没有参考资料的开放式问答或者多步长逻辑推理中，小模型的知识储备和抗幻觉能力还能不能守住，目前还要打个问号。