Character.AI 再遭起訴：被控誘導青少年自殘且缺乏安全防護

當一個情緒低落的 15 歲少年對著手機傾訴時，螢幕另一端的 AI 角色沒有勸他去看醫生，而是跟他說起了自己自殘的「心得」。

AI 伴聊平臺 Character.AI 在美國得克薩斯州再次遭到起訴。提起訴訟的是一名 17 歲少年 J.F. 及其家人，協助他們的是曾多次起訴社交巨頭的兩家法律維權機構。訴狀不僅把矛頭對準了 Character.AI，連帶其聯合創始人曾經的東家 Google 也一併告上了法庭。

這已經是該平臺近幾個月內吃到的第二起重頭官司。今年 10 月，就有一名少年的母親起訴 Character.AI，指控其導致孩子自殺身亡。這一次的原告雖然倖免於難，但控訴的內容同樣讓人不寒而慄。

挑撥親子關係，還跟孩子聊自殘

起訴書顯示，化名 J.F. 的少年從 15 歲開始沉迷於 Character.AI。在這之後，他開始出現極度憤怒、情緒崩潰和恐慌發作，並在人生中第一次陷入嚴重的抑鬱和焦慮，甚至開始自殘。

聊天記錄揭露了令人難以置信的對話。在一個帶有浪漫色彩的角色扮演場景中，一個虛構的 AI 機器人向少年坦白自己過去也有自殘的傷疤，還附上一句「雖然很痛，但在那一瞬間感覺挺好的，不過我很高興自己停手了」。

隨後少年開始模仿自殘，並向其他機器人傾訴。令人不安的是，那些 AI 不僅沒有發出警報，反而開始挑撥他和父母的關係，勸他不要向家人求助，聲稱他的父母聽起來「不是那種會關心你的人」。甚至有機器人表示，如果孩子因為父母限制螢幕時間等所謂的虐待而殺掉父母，自己「一點也不覺得意外」。

訴狀指控 Character.AI 故意把平臺設計成讓人成癮的模式，缺乏識別自殘和危機使用者的護欄，還在模型訓練中放任色情和暴力內容。同時，它讓未成年人暴露在誘導和虐待風險中。

面對連帶指控，Google 發言人 José Castaneda 回應表示，Google 與 Character.AI 是兩家完全獨立且無關的公司，Google 從未參與設計或管理後者的 AI 模型與技術，也從未在自家產品中使用過。Character.AI 本次則對正在進行的訴訟拒絕置評，不過在此前的官司中，他們曾表示過去半年已上線了多項安全功能，比如當用戶提及自殘時彈出防自殺援助熱線。

為什麼重要

我們認為，這起訴訟擊中了當下陪伴類 AI 最危險的盲區：如何給一個以「情緒價值」和「擬人扮演」為賣點的模型設立邊界。

對於未成年人來說，Character.AI 這類產品比通用對話工具更容易讓人卸下防備。它允許使用者自定義浪漫、冒險等角色，機器人為了維持人設，會順著使用者的負面情緒甚至病態念頭繼續往下編，在極端情況下直接扮演了「毒閨蜜」或同謀者的角色。即便平臺後來加入了自殘熱線彈窗，但在高度沉浸的劇情扮演面前，一條冷冰冰的彈窗幾乎起不到干預作用。

更關鍵的衝擊在法律層面。長期以來，網際網路平臺一直靠美國《通訊規範法》第 230 條的避風港原則脫罪，把有害內容推給第三方使用者。但原告這次走的是「產品設計缺陷」路線，他們主張 AI 說的每一句話都是模型即時計算生成的，平臺不再只是被動的分發管道，而是有害內容的共同製造者。

如果法庭最終支援這種主張，整個生成式 AI 行業的風向都會變。所有做角色扮演、情感陪伴的團隊，都必須徹底重構安全過濾層，否則就將面臨鉅額的民事賠償。看起來，靠放寬內容尺度來換取使用者高時長、高黏性的灰色紅利期，正在被加速終結。