OpenAI 披露 ChatGPT 防暴力机制：高危直接报警，将推成年人紧急联系人

如果有人在聊天框里反复向 AI 打探怎么制造混乱，或者流露出严重的极端倾向，聊天机器人该当个假装看不见的「树洞」，还是直接拔打报警电话？

OpenAI 发文公开了 ChatGPT 防范暴力与现实危害的整套机制。从模型怎么区分学术讨论与作案计划，到背后的自动化监控、人工核查，再到最极端的直接报警，OpenAI 第一次把这套处置链条完整摊在了台面上。

机器抓异常，真人看上下文

很多人以为防范有害内容就是拉个敏感词清单，但现实中的危险往往很隐蔽。比如单看一句话可能只是在聊历史或者新闻，但把几十轮对话串在一起，或者跨多个对话来看，意图可能就完全变了。

OpenAI 透露，他们正在强化模型识别长对话中微妙危险信号的能力，具体细节会在未来几周陆续公布。在底层防护上，ChatGPT 会直接拒绝提供任何可能实质性促成暴力的操作指令或战术规划，但依然允许用户出于教育、历史或防范目的讨论暴力事件。

大规模筛查则交给了一整套自动化系统。这里面不仅有传统的分类器、黑名单和哈希匹配，还用上了推理模型来捕捉潜在异常。

一旦系统打了标记，就会转入人工审核流程。OpenAI 表示，经过专门培训的审核员会在严格的数据安全和隐私限制下，调取上下文查看对话。自动化系统容易误判语境，人工介入就是为了搞清楚用户到底是在写小说、宣泄情绪，还是真的在策划危险行为。

如果确认违规，OpenAI 会立刻封禁账号，并连带封掉该用户的其他关联账号，同时阻止其注册新号。而一旦判定存在迫在眉睫且可信的现实伤害风险，OpenAI 会直接通报执法部门。他们特别提到，即使对话里没有明确说出作案时间、地点或具体手段，只要专家评估风险极高，同样会报警处理。

除了硬性防范，OpenAI 也把触角伸向了现实干预。继去年秋天推出家长控制功能后，他们很快还会为成年人上线紧急联系人功能。当系统发现用户可能处于极端危机时，可以主动通知对方指定的联系人。

为什么重要

对普通用户来说，这篇声明最直接的信号是：你的对话并不是绝对封闭的私密黑盒。虽然 OpenAI 强调了隐私防护和受限访问，但只要触发了高危警报，真人审核员就会介入，极端情况下警方还会收到通知。日常做研究、写小说的创作者不必过于恐慌，但必须明白这套边界到底画在哪里。

对整个行业而言，生成式 AI 的安全防线正在从被动拒答转向主动干预。以前大模型厂商只管在输出端拦截危险文本，现在 OpenAI 把监测链条拉长到了跨对话模式识别和线下警报联动，这实际上是在向社交媒体巨头的安全责任标准看齐，其他模型厂商接下来恐怕也得跟进这套沉重的人工与法务成本。

我们认为，OpenAI 走这一步很聪明，但也埋着不小的隐患。聪明之处在于引入了推理模型和专业心理专家来辅助判断，尽量避免了死板关键词带来的误伤。但隐患同样明显，在没有明确时间、地点和目标的情况下，仅凭模型对语气的推断和专家评估就决定报警，误报的代价将由普通用户承担。AI 到底是在保护现实世界，还是在充当全天候的思想监视器，这个平衡点未来只会越来越难找。