研究称 OpenAI Whisper 频发严重幻觉：部分测试虚构率达 80%

如果你用过录音转文字工具，大概对听错人名或者拼错单词见怪不怪了。但如果 AI 听着一段正常对话，突然凭空编造出一段根本没人说过的种族言论，甚至捏造出一种医疗方案呢？

这正是 OpenAI 旗下的开源语音识别工具 Whisper 正在引发的麻烦。美联社此前报道披露，研究人员和开发者发现这款工具存在严重的幻觉问题，编造内容的频率高得吓人。

密歇根大学一名研究人员在分析公共会议录音时发现，在他抽检的 Whisper 转录文本中，每十份就有八份夹杂着凭空捏造的内容。

这并不是个例。另一位排查了 100 小时转录文本的工程师透露，大概半数文本里能找到幻觉；还有一位开发者更夸张，在用 Whisper 生成的 2.6 万份转录里，几乎每份都发现了捏造痕迹。

甚至能凭空编出医疗方案

研究人员直言，他们以前从没在别的语音转文字工具上见过这么离谱的幻觉率。更麻烦的是，哪怕音频本身很短、声音非常清晰，Whisper 照样会胡说八道。

受访的十几位工程师和学者证实，Whisper 编造的内容不只是错别字，而是完整的短语和句子，甚至包含种族言论、暴力言辞和凭空编造的治疗手段。

问题在于 Whisper 已经铺得太开了。它被集成在部分版本的 ChatGPT 里，嵌入了呼叫中心、语音助手，还跑在微软和 Oracle 的云平台上，上个月光在 Hugging Face 上的下载量就突破了 420 万次。

目前最让业内捏一把汗的是医疗领域。越来越多的医疗机构正用基于 Whisper 的工具来记录医患对话，高级研究所教授 Alondra Nelson 就对此警告，谁也不想看到误诊发生。

对于严重依赖字幕的听障人群来说，这种漏洞几乎隐形。加劳德特大学技术辅助项目负责人 Christian Vogler 指出，听障用户根本没办法在密密麻麻的正常文字里，挑出那些被 AI 悄悄塞进去的胡话。

OpenAI 之前公开宣称 Whisper 在英语识别上接近人类水平的准确率。虽然官方免责声明里提醒不要在高风险决策场景使用，但面对这次的调查结果，其发言人表示正在持续研究降低幻觉的方法，并会将反馈整合到后续更新中。

为什么重要

语音转文字过去一直被当作最稳妥、最偏向确定性的基础 AI 工具，大家潜意识里觉得它顶多漏字，绝不会像大语言模型那样信口胡诌。Whisper 这次暴露的问题彻底打破了这种安全感。

对普通用户和转录需求者来说，如果我们只是拿它整理普通采访或会议纪要，配合人工校对尚能应付；但目前我们认为，千万不要把它直接接入没有人工审核的全自动工作流，更不能完全依赖它做敏感记录。

对行业而言，这件事给所有追求效率而盲目上马 AI 的企业敲了警钟。特别是医疗和法律等领域，一旦语音前端在输入阶段就给出了被污染的数据，后面的所有系统都会跟着做出错误判断。

我们认为，OpenAI 把强大的开源模型推向市场确实加速了技术普及，但在宣传接近人类准确率的同时，把安全责任简单推给免责声明，在面对医疗等高风险落地场景时显得相当脆弱。如果基础输入层的幻觉问题得不到彻底根治，语音识别工具越普及，埋下的隐患可能就越深。