ChatGPTが特定の人名で強制終了、名誉毀損対策のハードコードが発覚

特定の人物の名前を入力するだけで、ChatGPTが即座に応答を停止し、エラーを吐いてチャットセッションごと落ちてしまう現象が報告されています。

ソーシャルメディアやRedditのユーザーによる検証を受け、米Ars Technicaなどがテストを実施したところ、いくつかの特定の名前を含むプロンプトを入力すると、画面にエラーメッセージが表示され、会話が強制終了することが確認されました。

強制終了を引き起こすブラックリスト

この現象は当初、David Mayerという名前を入力した際に発見されました。Ars Technicaが報じる直前にこの名前のブロックは解除されましたが、ネット上ではさらなる調査が進みました。

メディアの404 Mediaは、法学者のJonathan Zittrain氏やJonathan Turley氏の名前でも同様のクラッシュが起きることを突き止めました。現在確認されているリストには、Brian Hood氏、David Faber氏、イタリアのデータ保護当局者であるGuido Scorza氏などが含まれています。

重要なのは、この遮断が一般向けのChatGPTウェブ版やアプリでのみ発生している点です。開発者向けのOpenAI APIやPlayground環境では、これらの名前を入力しても問題なく処理されます。

名誉毀損を防ぐための急ごしらえの安全弁

この挙動の正体は、AIの出力結果がユーザーの画面に届く直前に強制遮断する、ハードコードされたフィルターです。

背景にあるのは明白な法的リスクです。リストに挙がっている豪市長のBrian Hood氏は昨年、ChatGPTが自身を収賄で有罪になったと事実無根の嘘を出力したとして提訴の構えを見せていました。

AIのハルシネーションによる名誉毀損訴訟を避けるため、OpenAIはモデルの重みを修正する代わりに、名前そのものをトリガーにした急ごしらえの遮断スクリプトを仕込んだとみられます。過去にも、訓練データ漏洩を防ぐために特定の単語を永遠に繰り返させるプロンプトを遮断した前例があります。

なぜ重要か

一般ユーザーにとっては、ChatGPTの応答が純粋な生成結果ではなく、見えないフィルターで常に検閲されている現実を再認識させる出来事です。調査業務などで突然エラーが出た場合、システムの不具合ではなく法的な地雷を踏んだ可能性があります。

業界の視点で見れば、最先端を行くOpenAIの安全対策が、昔ながらの単語ブラックリストという極めて原始的な手段に頼っている実態が露呈したと言えます。

モデル自体の虚偽出力を防ぐのが技術的にいかに困難であるかを物語っていますが、法的リスクを回避したい企業の都合は理解できるものの、正当なブロックをシステムエラーに見せかけてユーザーに説明しない姿勢には疑問が残ります。

今後AIが検索やリサーチの基盤になるにつれ、訴訟を恐れたプラットフォーマーによる非公開の検閲リストがどこまで広がるのか、透明性の確保が大きな課題になりそうです。