ChatGPTが無実の男性を「我が子の殺人犯」と虚偽回答：欧州でOpenAIが提訴される

生成AIに自分の名前を聞いてみるのはよくある好奇心ですが、返ってきた答えが殺人犯の経歴だったとしたらどうでしょうか。

ノルウェー在住のアルヴェ・ヤルマル・ホルメン（Arve Hjalmar Holmen）氏は、ChatGPTに自分がどんな人物として登録されているか尋ねました。しかし画面に表示されたのは、自らの実の子ども2人を殺害し、3人目も殺害しようとした罪で有罪判決を受け、ノルウェーの刑務所で21年の懲役刑に服しているという、完全なでっち上げの回答でした。

戦慄すべきは、それが単なる荒唐無稽な作り話にとどまらなかった点です。ChatGPTはホルメン氏の出身地や、子どもの人数と性別といった現実の個人情報を正確に把握した上で、架空の殺人容疑と不気味に継ぎ接ぎして出力していました。

免責事項を添えれば済む問題か

この事態を受け、オーストリアの著名なプライバシー保護団体Noybがホルメン氏を代理し、ノルウェーデータ保護庁（Datatilsynet）に正式な申し立てを行いました。ChatGPTを開発するOpenAIが、欧州連合の一般データ保護規則（GDPR）に違反していると告発した形です。

Noybは規制当局に対し、OpenAIへの制裁金の科徴、名誉毀損に当たる回答の削除命令、そして同様の誤りを防ぐためのモデル修正を求めています。

Noybのデータ保護担当弁護士ヨアキム・セーデルバリ（Joakim Söderberg）氏は、GDPRの条文は極めて明快であり、個人データは正確でなければならず、不正確な場合は真実を反映して訂正させる権利がユーザーにあると指摘しています。

同氏は、ChatGPTの画面下にAIは間違いを犯す可能性があるという小さな免責表示を出すだけでは到底不十分だと批判しました。虚偽の重大な情報を拡散しておきながら、末尾にすべて嘘かもしれないと言い添えるだけで責任を逃れることは許されないという主張です。

ホルメン氏が最初にこの検索を行った正確な日時は公開文書では伏せられていますが、ChatGPTにウェブ検索機能が追加される前の出来事だったとされています。皮肉なことに、現在同じ質問を入力すると、この告発を報じるニュース記事ばかりが結果として返ってくる状態です。

NoybがChatGPTを巡って正式な申し立てを行うのはこれが2回目です。2024年4月には、ある著名人の生年月日を誤って表示し続けた件で申し立てを行いました。当時OpenAIは、モデルの内部データを直接修正することはできず、特定のクエリに対してブロックをかけることしかできないと主張しましたが、Noyb側は不正確なデータを遅滞なく消去または訂正することを求めるGDPRに反していると反論していました。

なぜ重要か

この問題は、確率に基づいて単語を生成する大規模言語モデルの仕組みと、厳格なデータ保護法との間に横たわる決定的な矛盾を浮き彫りにしています。

一般ユーザーの視点に立てば、これは極めて深刻な恐怖です。実在する家族構成や出身地という正確な個人データに、殺人という凶悪犯罪の虚偽情報が巧妙に織り交ぜられた場合、第三者が真偽を見分けるのは困難です。AIが自信満々に語るデマによって、一個人の社会的信用が容易に破壊されかねない現実を突きつけています。

AI業界にとっても、OpenAIがこれまで取ってきた防御策が通用しなくなる転換点となる可能性があります。モデルの重みに溶け込んだ記憶を個別に修正できないため、対症療法的なキーワードブロックで誤魔化してきたのが現状です。しかし、法的なデータ訂正権を前にして、そうした技術的な言い訳が欧州で認められる余地は薄いと見られます。

私たちは、画面下の小さな注意書きで免責される時代は終わりつつあると考えています。規制当局がブロック対応を不十分と断定すれば、OpenAIをはじめとするAI企業は、個人データの取り扱い方針を根本から見直すか、欧州市場での巨額の制裁金や事業停止リスクを背負い続けるかの二者択一を迫られることになります。