研究稱 OpenAI Whisper 頻發嚴重幻覺：部分測試虛構率達 80%

如果你用過錄音轉文字工具，大概對聽錯人名或者拼錯單詞見怪不怪了。但如果 AI 聽著一段正常對話，突然憑空編造出一段根本沒人說過的種族言論，甚至捏造出一種醫療方案呢？

這正是 OpenAI 旗下的開源語音識別工具 Whisper 正在引發的麻煩。美聯社此前報道披露，研究人員和開發者發現這款工具存在嚴重的幻覺問題，編造內容的頻率高得嚇人。

密西根大學一名研究人員在分析公共會議錄音時發現，在他抽檢的 Whisper 轉錄文本中，每十份就有八份夾雜著憑空捏造的內容。

這並不是個例。另一位排查了 100 小時轉錄文本的工程師透露，大概半數文本里能找到幻覺；還有一位開發者更誇張，在用 Whisper 生成的 2.6 萬份轉錄裡，幾乎每份都發現了捏造痕跡。

甚至能憑空編出醫療方案

研究人員直言，他們以前從沒在別的語音轉文字工具上見過這麼離譜的幻覺率。更麻煩的是，哪怕音訊本身很短、聲音非常清晰，Whisper 照樣會胡說八道。

受訪的十幾位工程師和學者證實，Whisper 編造的內容不只是錯別字，而是完整的短語和句子，甚至包含種族言論、暴力言辭和憑空編造的治療手段。

問題在於 Whisper 已經鋪得太開了。它被整合在部分版本的 ChatGPT 裡，嵌入了呼叫中心、語音助手，還跑在微軟和 Oracle 的雲平臺上，上個月光在 Hugging Face 上的下載量就突破了 420 萬次。

目前最讓業內捏一把汗的是醫療領域。越來越多的醫療機構正用基於 Whisper 的工具來記錄醫患對話，高階研究所教授 Alondra Nelson 就對此警告，誰也不想看到誤診發生。

對於嚴重依賴字幕的聽障人群來說，這種漏洞幾乎隱形。加勞德特大學技術輔助專案負責人 Christian Vogler 指出，聽障使用者根本沒辦法在密密麻麻的正常文字裡，挑出那些被 AI 悄悄塞進去的胡話。

OpenAI 之前公開宣稱 Whisper 在英語識別上接近人類水平的準確率。雖然官方免責聲明裡提醒不要在高風險決策場景使用，但面對這次的調查結果，其發言人表示正在持續研究降低幻覺的方法，並會將反饋整合到後續更新中。

為什麼重要

語音轉文字過去一直被當作最穩妥、最偏向確定性的基礎 AI 工具，大家潛意識裡覺得它頂多漏字，絕不會像大語言模型那樣信口胡謅。Whisper 這次暴露的問題徹底打破了這種安全感。

對普通使用者和轉錄需求者來說，如果我們只是拿它整理普通採訪或會議紀要，配合人工校對尚能應付；但目前我們認為，千萬不要把它直接接入沒有人工稽核的全自動工作流，更不能完全依賴它做敏感記錄。

對行業而言，這件事給所有追求效率而盲目上馬 AI 的企業敲了警鐘。特別是醫療和法律等領域，一旦語音前端在輸入階段就給出了被汙染的資料，後面的所有系統都會跟著做出錯誤判斷。

我們認為，OpenAI 把強大的開源模型推向市場確實加速了技術普及，但在宣傳接近人類準確率的同時，把安全責任簡單推給免責宣告，在面對醫療等高風險落地場景時顯得相當脆弱。如果基礎輸入層的幻覺問題得不到徹底根治，語音識別工具越普及，埋下的隱患可能就越深。