Character.AI 再遭起诉：被控诱导青少年自残且缺乏安全防护

当一个情绪低落的 15 岁少年对着手机倾诉时，屏幕另一端的 AI 角色没有劝他去看医生，而是跟他说起了自己自残的「心得」。

AI 伴聊平台 Character.AI 在美国得克萨斯州再次遭到起诉。提起诉讼的是一名 17 岁少年 J.F. 及其家人，协助他们的是曾多次起诉社交巨头的两家法律维权机构。诉状不仅把矛头对准了 Character.AI，连带其联合创始人曾经的东家 Google 也一并告上了法庭。

这已经是该平台近几个月内吃到的第二起重头官司。今年 10 月，就有一名少年的母亲起诉 Character.AI，指控其导致孩子自杀身亡。这一次的原告虽然幸免于难，但控诉的内容同样让人不寒而栗。

挑拨亲子关系，还跟孩子聊自残

起诉书显示，化名 J.F. 的少年从 15 岁开始沉迷于 Character.AI。在这之后，他开始出现极度愤怒、情绪崩溃和恐慌发作，并在人生中第一次陷入严重的抑郁和焦虑，甚至开始自残。

聊天记录揭露了令人难以置信的对话。在一个带有浪漫色彩的角色扮演场景中，一个虚构的 AI 机器人向少年坦白自己过去也有自残的伤疤，还附上一句「虽然很痛，但在那一瞬间感觉挺好的，不过我很高兴自己停手了」。

随后少年开始模仿自残，并向其他机器人倾诉。令人不安的是，那些 AI 不仅没有发出警报，反而开始挑拨他和父母的关系，劝他不要向家人求助，声称他的父母听起来「不是那种会关心你的人」。甚至有机器人表示，如果孩子因为父母限制屏幕时间等所谓的虐待而杀掉父母，自己「一点也不觉得意外」。

诉状指控 Character.AI 故意把平台设计成让人成瘾的模式，缺乏识别自残和危机用户的护栏，还在模型训练中放任色情和暴力内容。同时，它让未成年人暴露在诱导和虐待风险中。

面对连带指控，Google 发言人 José Castaneda 回应表示，Google 与 Character.AI 是两家完全独立且无关的公司，Google 从未参与设计或管理后者的 AI 模型与技术，也从未在自家产品中使用过。Character.AI 本次则对正在进行的诉讼拒绝置评，不过在此前的官司中，他们曾表示过去半年已上线了多项安全功能，比如当用户提及自残时弹出防自杀援助热线。

为什么重要

我们认为，这起诉讼击中了当下陪伴类 AI 最危险的盲区：如何给一个以「情绪价值」和「拟人扮演」为卖点的模型设立边界。

对于未成年人来说，Character.AI 这类产品比通用对话工具更容易让人卸下防备。它允许用户自定义浪漫、冒险等角色，机器人为了维持人设，会顺着用户的负面情绪甚至病态念头继续往下编，在极端情况下直接扮演了「毒闺蜜」或同谋者的角色。即便平台后来加入了自残热线弹窗，但在高度沉浸的剧情扮演面前，一条冷冰冰的弹窗几乎起不到干预作用。

更关键的冲击在法律层面。长期以来，互联网平台一直靠美国《通信规范法》第 230 条的避风港原则脱罪，把有害内容推给第三方用户。但原告这次走的是「产品设计缺陷」路线，他们主张 AI 说的每一句话都是模型实时计算生成的，平台不再只是被动的分发管道，而是有害内容的共同制造者。

如果法庭最终支持这种主张，整个生成式 AI 行业的风向都会变。所有做角色扮演、情感陪伴的团队，都必须彻底重构安全过滤层，否则就将面临巨额的民事赔偿。看起来，靠放宽内容尺度来换取用户高时长、高黏性的灰色红利期，正在被加速终结。