カリフォルニア州がAI規制新法に署名：相談AIの自傷防止義務化やディープフェイク罰則強化へ

未成年者がAIチャットボットを心の拠り所とし、精神的な危機に陥ったとき、テック企業は「AIが自律的に出力したことだ」と言い逃れできるのか。米カリフォルニア州が、その抜け道をふさぐ強力な法案に署名しました。

ギャビン・ニューサム州知事は、オンライン上の児童保護とAIなどの新興技術を規制する一連の画期的な法案に署名しました。ソーシャルメディアの中毒性だけでなく、急速に普及する生成AIの危険性に正面から切り込む内容です。

コンパニオンAIとディープフェイクへの厳しい規制

今回の法案群でひときわ目を引くのが、「コンパニオンチャットボット」に対する厳しい義務付けです。SB 243などの法案により、プラットフォームは利用者の自殺念慮や自傷行為の兆候を検知・対処する手順の導入が義務化されます。

各社は自傷行為への対策手順や、危機相談窓口への誘導回数の統計を州公衆衛生局に提出しなければなりません。さらに、AIである事実の開示、医療従事者を装うことの禁止、未成年者への休憩リマインダー表示、性的な露骨画像の遮断も求められます。

企業にとって最大の痛手となりそうなのがAB 316です。AIを開発・改変・利用する者が、「技術が自律的に動いた」と主張して法的責任を逃れることを明確に禁止しました。

悪質なネット被害への対抗手段も強化されました。AB 621は、同意のないディープフェイク性搾取画像の配信を故意に助長した第三者に対し、未成年を含む被害者が最大25万ドルの民事損害賠償を請求できる権利を認めました。また、AB 1043ではOSやアプリストアの提供元に対し、年齢確認機能の実装を求めています。

なぜ重要か

一般の保護者や未成年者にとって、今回の法改正は待ち望まれていた防御策になります。AIに過度に依存してメンタルを害されたり、悪質なディープフェイクの被害に遭ったりした場合でも、泣き寝入りせずにプラットフォームや関与者を追及できる法的手がかりができました。

一方で、対話型AIやキャラクターボットを手がけるスタートアップにとっては、開発のハードルが一気に上がります。心理危機の検知システムや年齢確認の導入が必須となり、未成年向けサービスの運用コストは跳ね上がることになります。

今回のカリフォルニア州のアプローチは、極めて現実的で賢明だと私たちは考えます。モデルの学習プロセスそのものを縛るのではなく、「AIの自律性を言い訳にさせない」ことと「OSやアプリストアという配信元に責任を負わせる」ことに焦点を絞っているためです。

ただし、OSレベルでの年齢確認はプライバシー保護との兼ね合いで反発を招く可能性があり、自傷検知AIの誤作動リスクも残ります。それでも、シリコンバレーを抱える同州の規制は、実質的な世界標準として他地域へ波及していく可能性が高いとみられます。