OpenAIの文字起こしAI「Whisper」に深刻な幻覚問題、テストの8割で虚偽記述

文字起こしツールを使っていて、単語の聞き間違いや誤字程度なら誰もが予想する範囲でしょう。しかし、誰も口にしていない人種差別的な発言や、存在しない治療法をAIが突然捏造し始めたらどうでしょうか。

OpenAIのオープンソース音声認識モデル「Whisper」で、まさにそうした深刻なハルシネーション（幻覚）が頻発している実態が明らかになりました。AP通信の報道によると、研究者や開発者の間から、これほど捏造が多いツールは前例がないと懸念の声が上がっています。

ミシガン大学の研究者が自治体の公開会議の音声を調査したところ、点検した文字起こしデータの10件中8件でハルシネーションが見つかりました。

別のエンジニアが100時間の文字起こしを調べた際にも約半数で捏造が確認され、ある開発者に至っては作成した2万6000件のほぼすべてで勝手な文章が紛れ込んでいたと報告しています。

医療現場に広がる見えないリスク

研究者らは、音声認識ツールでここまで激しいハルシネーションを起こすものは見たことがないと証言しています。音質がクリアで短い音声ファイルであっても、この捏造は発生していました。

複数のエンジニアによると、Whisperが作り出すのは単なる誤字脱字ではなく、人種差別的なコメントや暴力的な表現、さらには架空の医療処置といった完全な文章です。

問題は、Whisperがすでに社会のあらゆるシステムに組み込まれている点です。一部のChatGPTに採用されているほか、コールセンターや音声アシスタント、マイクロソフトやオラクルのクラウド基盤にも導入され、Hugging Faceだけでも先月420万回以上ダウンロードされました。

とりわけ懸念されているのが、医師と患者の診察記録の書き起こしにWhisperベースのツールを使うケースが急増していることです。プリンストン高等研究所のアロンドラ・ネルソン教授は、誤診を望む人など誰もいないと強い危機感を示しています。

また、聴覚障害者にとっても深刻です。ギャローデット大学のクリスチャン・フォーグラー氏は、大量の文章の中に潜むAIの捏造を耳が不自由な人が見抜くのは不可能だと指摘します。

OpenAI側は、Whisperは人間の耳に近い頑健性と精度を持つと説明しつつ、高リスクな意思決定場面での使用は控えるよう警告しています。広報担当者は、ハルシネーションの軽減に向けた研究を続けており、モデルのアップデートにフィードバックを反映させると回答しました。

なぜ重要か

音声認識は、生成AIのなかでも比較的ハルシネーションが起きにくく、単純な入力作業を任せられる安全な技術だと見なされてきました。しかし今回の事態は、その信頼の前提を根底から覆すものです。

一般的な会議のメモや取材音声の文字起こしであれば、人間の校閲を前提に使う分には現在も有用でしょう。しかし、人間が全件チェックしない自動ワークフローや、少しの誤りも許されない重要業務にそのまま組み込むのは避けるべきだと私たちは考えます。

業界全体にとっても、効率化を急ぐあまり安全規制が追いついていない現実を浮き彫りにしました。入力段階の音声データに架空の事実が混ざり込めば、そのデータを元に判断を下す後続のシステムすべてが狂ってしまうためです。

OpenAIは高リスク分野での利用を控えるよう規約で求めていますが、現場での実質的な普及スピードに対して免責条項だけで責任を回避するのは無理があるように見えます。事実無根のテキストを生成する根本的な原因が解明されない限り、導入の広がりそのものが新たなリスクを呼び込むことになりかねません。