跳到正文
IFAI

AI工具

Vectara 推出幻觉纠正器:将企业 AI 幻觉率压低至 0.9%

首次发布 传播指数 34

Vectara 推出直接集成在其服务中的 Hallucination Corrector,配合自家的 HHEM 评估模型,在检测出错误时自动给出原因并完成精准修正。测试显示,该工具能将企业 AI 系统的幻觉率压到约 0.9%,解决推理模型幻觉偏高的问题。

Vectara 推出幻觉纠正器:将企业 AI 幻觉率压低至 0.9%
图:siliconangle.com

企业用大模型做业务,最怕的就是模型一本正经地胡说八道。一旦涉及金融、医疗或者法律,一句编造的数字就能惹出大麻烦。

做企业 AI 智能体平台的 Vectara 最近推出了一个新功能,名字很直白,就叫 Hallucination Corrector(幻觉纠错器),直接内置在它的服务里,专门用来拦截并修正企业大模型生成的错误回答。

推理模型变聪明了,但胡说八道更多了

很多人以为模型越强幻觉越少,事实可能恰恰相反。

在传统大模型上,行业估算的平均幻觉率大概在 3% 到 10% 之间。然而最近流行的推理模型,因为要把复杂问题拆成思考步骤一步步解,幻觉率反而更严重了。

根据 Vectara 的测试数据,推理模型 DeepSeek-R1 的幻觉率高达 14.3%,而它的前代 DeepSeek R3 只有 3.9%。OpenAI 的 GPT-o1 幻觉率也达到了 2.4%,高于 GPT-4o 的 1.5%。《新科学家》杂志也做过类似测试,发现推理模型的幻觉率同样居高不下。

Vectara 创始人兼首席执行官 Amr Awadallah 直言,虽然大模型在解决幻觉上进步很大,但在金融、医疗、法律这些强监管行业里,准确度依然远远达不到要求。

发现错误,再做最小改动修掉它

根据 Vectara 公布的早期测试数据,这个纠错器能把企业 AI 系统的幻觉率一路压到 0.9% 左右。

它的底层依赖 Vectara 自家的评估模型 HHEM(Hughes Hallucination Evaluation Model)。这个模型会在运行时把 AI 的回答和源文档逐句比对,给出一个 0 到 1 之间的准确度评分。比如 0.98 就代表有 98% 的概率真实可靠。上个月,HHEM 在 Hugging Face 上的下载量超过了 25 万次。

一旦检测到回答和事实不符,纠错器不仅会指出哪里错了、为什么算幻觉,还会以最小改动为原则生成一份修正版内容。

对普通用户,系统可以直接把修正后的摘要发出去;对技术人员,后台则保留了完整的错误说明和修改建议,用来调试模型提示词或安全护栏。如果答案只是含糊、有误导性但没全错,系统也能根据企业设定的阈值进行润色,降低不确定性。

为什么重要

这套工具解决的是企业落地生成式 AI 时最头疼的问责问题。对企业开发者来说,如果你的应用需要查阅企业内部知识库给客户或员工答复,直接集成这种校验层,比单纯靠 Prompt 约束要稳妥得多。

我们认为 Vectara 这步走得很务实。它没有去碰训练更强基座模型这种费钱的事,而是把精力放在了企业真正愿意买单的合规与质控环节。尤其是在推理模型为了凑出思考链而频繁脑补细节的当下,这种实时纠错机制正好切中了痛点。

不过,把幻觉率压到 0.9% 依然不等于零错误。对于医疗处方或合规审计这种容错率为零的场景,0.9% 的偶发错误依然需要人工复核兜底。而且在运行时做全文比对和二次修正,必然会增加响应延迟和算力成本,企业在使用时必须在准确度和响应速度之间做好权衡。

来源 (1)

  1. [1]
    siliconangle.com(在新标签页打开)原文siliconangle.com

每日 AI 内容精选