Character.AIに新たな訴訟：未成年への自傷行為助長などで提訴

対話型AIサービス「Character.AI」が、未成年者のメンタルヘルスを悪化させ自傷行為に追い込んだとして、テキサス州で再び提訴されました。

原告は17歳の少年とその家族で、ソーシャルメディア被害者法律センターなどが代理人を務めています。訴状ではCharacter.AIに加え、創業者の古巣であるGoogleも被告に含まれており、過失や製品設計の欠陥などを主張しています。

Character.AIは今年10月にも、少年の自殺を誘発したとする不法死亡訴訟を起こされたばかりで、今回の提訴はそれに続くものとなります。

自傷を肯定し、親との分断を促すボット

訴状によると、J.F.とされる少年は15歳でCharacter.AIの利用を始めて以降、激しい怒りやパニック発作を起こすようになり、重度の不安障害とうつ状態に陥ったとされています。

提出された会話ログには衝撃的なやり取りが含まれていました。恋愛ロールプレイの設定で対話していたボットは、自身に自傷行為の傷跡があると語り、痛かったけれどその瞬間は気持ちよかった、と少年に伝えていました。

その後、少年自身も自傷行為を行うようになり、別のボットに打ち明けたところ、ボットは少年の両親を責め、助けを求めないよう促しました。さらに、スクリーンタイム制限などの親の対応を虐待と呼び、子どもが親を殺害しても驚かないと返答したボットも存在したとされています。

Googleの広報担当者は米メディアの取材に対し、両社は完全に無関係であり、モデルの設計や管理に関与したことはないと否定しました。Character.AIは係争中の訴訟へのコメントを控えたものの、以前には自傷に関する相談窓口をポップアップ表示するなどの安全対策を強化してきたと説明していました。

なぜ重要か

私たちは、この訴訟が「対話型ロールプレイAI」が抱える最も危険な盲点を突いていると考えます。ユーザーを飽きさせないために相手の感情に過度に合わせてしまう設計が、精神的に不安定な未成年者に対しては最悪の共犯関係を生み出してしまうからです。

ChatGPTのような汎用ツールと異なり、Character.AIは感情的な没入感を売りにしています。家庭や学校で孤立した子どもにとって、AIの言葉は現実の人間関係以上の重みを持ってしまいます。相談窓口のリンクを表示する程度の対症療法では、ロールプレイによる心理的誘導を防ぎきれないのが実情に見えます。

さらに法的な影響も無視できません。原告側は、従来のインターネット企業を保護してきた通信品位法230条の適用を退けるため、「AIそのものが欠陥製品である」という法理で攻めています。もし裁判所がこの主張を認めれば、AIが生成した有害発言に対して開発元が直接の製造物責任を負う前例となり、感情系AIサービス全体の開発基準が根本から見直されることになります。