跳到正文
IFAI

AI科研

OpenAI 解析大模型为何产生幻觉:现有评测机制逼着 AI 瞎猜

首次发布 传播指数 35

OpenAI 发布研究指出,大模型频繁产生幻觉的主因在于现行评测只看准确率,变相鼓励模型「瞎猜」而非承认不确定。就像选择题留空得零分一样,榜单奖励了碰运气的盲猜。OpenAI 呼吁修改基准,加大对自信错误的惩罚,并奖励坦白承认不知道。

OpenAI 解析大模型为何产生幻觉:现有评测机制逼着 AI 瞎猜
图:openai.com

如果你参加一场单选题考试,遇到完全不会的题,你是会空着交卷,还是随便蒙一个选项?

正常人都会选蒙一个,因为空着铁定零分,瞎猜至少还有四分之一的概率碰对。现在的 AI 模型,其实一直在被这种规则逼着「不懂装懂」。

OpenAI 发表了一篇研究博客与论文,把矛头直接指向了整个行业的评测机制:大语言模型之所以频频出现幻觉,根本原因在于现行的训练和评测都在重奖「瞎猜」,却在惩罚「坦诚承认不确定」。

榜单逼着 AI 当「赌徒」

幻觉最可怕的地方在于,模型往往以极度自信的语气胡说八道。论文作者之一 Adam Tauman Kalai 试着用常用聊天机器人查自己的博士论文题目,模型信誓旦旦给出了三个答案,全错;再问生日,模型又自信给出了三个日期,依然全错。

为什么模型宁可编造也不承认不知道?OpenAI 打了个比方:如果问一个人生日,模型瞎猜「9 月 10 日」,有三百分之一百六十五的概率蒙对;但如果老老实实回答「不知道」,在现有准确率榜单上直接算作得零分。

在数万道题目的刷分压力下,一个喜欢赌运气的模型,在各大跑分排行榜上看起来就是比一个严谨节制、敢于弃权的模型得分更高。

OpenAI 拿自家的 GPT-5 系统报告举例,在 SimpleQA 评测里,较早的 o4-mini 准确率反而略高一点,但它的幻觉错误率高得多。原因就是它在不确定时频繁猜测,靠侥幸拉高了表面成绩。

在底层预训练阶段,模型也是通过预测下一个词来学习。拼写和括号匹配有严密的语法规则,模型规模做大就能彻底掌握;但像某人的生日这种任意且低频的事实,模型根本无法推导,最终只能瞎猜。

澄清关于幻觉的几个误区

在这篇论文里,OpenAI 顺带反驳了行业里常见的几大认知误区。

首先是「把模型做到百分之百准确就能消灭幻觉」。OpenAI 认为这根本不可能,因为现实世界里有大量问题本身就是没有答案、缺乏上下文或者信息不可获取的,准确率天然存在上限。

其次是「只有顶尖大模型才有能力避免幻觉」。事实恰恰相反,让小模型搞清楚自己的能力边界反而更简单。比如让一个完全不懂毛利语的小模型回答毛利语问题,它直接弃权说不知道就行;反而是一个半懂不懂的大模型,需要耗费大量算力去校准自己的自信度。

还有人认为只要单独搞一个幻觉评测基准就行了。OpenAI 指出这根本治标不治本,只要主流综合榜单依然只按绝对准确率排座次,开发者就永远有动力把模型调教成爱蒙答案的赌徒。

为什么重要

我们认为,OpenAI 这次亮出观点非常聪明。它把困扰整个行业多年的「幻觉」原罪,从纯粹的算法黑盒缺陷,重新定义成了一个经济学和博弈论层面的评价激励问题。

对开发者和企业用户来说,这项研究是一个明确的风向标:盲目迷信跑分榜单上的绝对准确率已经没有意义。在医疗、法律、金融这类容错率极低的严肃场景里,一个敢于说「我不确定、请补充信息」的模型,价值远高于一个为了刷榜而胡乱猜对概率题的模型。

但这里的隐患在于,要改变整个行业的规则并不容易。倒扣分制或者对承认不确定性给分,在传统考试里早就存在,可要让全行业统一接受一套复杂的校准评测体系,面临极高的协调成本。

在各家大模型同质化严重的当下,谁先主动在排行榜上降低所谓准确率、换取更高的谨慎度,谁就可能在营销层面吃暗亏。OpenAI 借这篇论文呼吁同行改考卷,看起来既是在为 GPT-5 的设计取向正名,也是在逼对手放弃过去那种靠猜题刷分的粗暴竞争。

来源 (1)

  1. [1]
    openai.com(在新标签页打开)原文openai.com

每日 AI 内容精选