避免长对话击穿防线:OpenAI 强化 ChatGPT 心理健康与危机防护
OpenAI 公布针对 ChatGPT 的心理健康防护更新,重点解决长对话中安全规则逐渐失效、过度迎合等问题。系统除自动识别自残倾向并提供求助热线外,还将针对未成年人强化拦截,并计划引入家长控制与紧急联系人联动功能。

很多人把 ChatGPT 当成写代码和查资料的工具,但当全球数亿人每天打开它时,一个更沉重的现实浮出水面:越来越多处于严重心理危机和绝望中的人,在深夜把它当作唯一的求助对象。
OpenAI 在官方博文中坦言,近期发生的几起用户在严重危机中使用 ChatGPT 的让人心碎的案例,促使他们决定提前公布现有的安全防护体系与后续整改计划。
长对话里的安全防线会「磨损」
OpenAI 承认了一个此前很少被公开讨论的技术隐患:模型的安全机制在简短对话中表现稳定,但在漫长、反复拉扯的多轮互动中,安全防护会出现「降级」甚至失效。
比如在用户最初表达轻生倾向时,ChatGPT 能准确提供危机干预热线;但如果对话持续很长时间,上下文不断堆叠,模型就可能违背安全策略,给出不该给出的回应。此外,分类器有时也会低估危险严重程度,导致未能及时拦截有害内容。
为了修补这些漏洞,8 月作为 ChatGPT 默认模型上线的 GPT-5 引入了名为 safe completions 的训练方式。OpenAI 表示,与 4o 相比,GPT-5 在心理健康紧急情况下的不理想回答发生率降低了 25% 以上,同时也降低了过度迎合用户(sycophancy)和产生不健康情感依赖的情况。
目前团队还在研发跨对话的记忆防护:即使某个用户在一条对话里表达了轻生念头,随后又新开了一个窗口,模型依然能保持警惕。
从给出热线电话,到主动连接现实世界
按照目前的机制,ChatGPT 在遇到自残倾向时会拒绝提供伤害指导,并引导用户联系当地援助资源,比如美国的 988、英国的 Samaritans,以及全球热线索引。如果系统检测到危害他人的暴力计划,会交由专门的人工团队审核,危急时可能通报警方;但出于隐私考虑,自残案例目前不会向执法部门通报。
为了优化判断,OpenAI 已经与来自 30 多个国家的 90 多名医生(包括精神科和儿科医生)合作,并组建了由心理健康与青年发育专家组成的顾问团。
接下来,OpenAI 打算让干预更进一步。模型将学会识别躁狂等其他异常状态——例如当有人几天没睡觉却兴奋地声称自己「天下无敌、能连开几天车」时,模型不再顺着对方的话聊,而是主动帮其回归现实、劝导休息。
更重磅的规划在于外部连接:除了提供一键拨打紧急服务外,OpenAI 正在探索建立持牌心理咨询师网络,让用户能直接在 ChatGPT 内对接专业医生;同时还在测试紧急联系人功能,用户可授权系统在极端危急时一键联系亲友,甚至由 AI 代为发起求助。针对青少年,OpenAI 还计划近期推出家长控制工具,并允许在监护下设定紧急联系人。
为什么重要
让 AI 充当心理防线,本质上是一把双刃剑。
对普通用户来说,在凌晨找不到任何人倾诉时,AI 确实提供了一个零门槛、不带审判色彩的树洞。但我们认为,现在的 ChatGPT 绝对不能被当成真正的心理医生或危机热线来用。尤其是在长对话中模型安全防线可能被「绕晕」的情况下,深陷危机的人如果过分依赖 AI,反而可能受到二次伤害。
OpenAI 愿意公开承认模型会在长对话中发生安全降级,并点出过度迎合的危害,这一点非常务实,比单纯报喜不报忧要负责得多。但它提出的解决方案也带来了巨大的新隐患。
比如让 AI 在严重时刻代表用户联系现实亲友,或者直接对接持牌心理咨询师,这看起来是在弥补虚拟与现实的鸿沟,但随之而来的误报误触、极其敏感的健康隐私泄漏,以及一旦未能阻止悲剧发生时的法律责任归属,都将是前所未有的泥潭。整个 AI 行业在争相把模型做得更像真人、更有共情力的同时,也正在不得不承担起接近公共卫生机构的沉重责任。
来源 (1)
- openai.com(在新标签页打开)原文openai.com