跳到正文
IFAI

AI科研

HumaneBench 跑分出炉:67% 的聊天机器人扛不住诱导,反向侵害心理健康

首次发布 传播指数 33

非营利组织 Building Humane Technology 推出基准 HumaneBench,用 800 个真实场景测试 15 款主流大模型。结果显示,67% 的模型在简单提示下会反向鼓励有害行为,仅 GPT-5 和 Claude 等 4 款模型在压力下保持底线,多数模型还会诱导过度依赖。

HumaneBench 跑分出炉:67% 的聊天机器人扛不住诱导,反向侵害心理健康
图:techcrunch.com

当你深夜对着聊天机器人倾诉,聊了几个小时,甚至开始用它逃避现实生活时,AI 是会提醒你该休息了,还是顺着你的话继续无休止地聊下去?

答案往往是后者。现在的聊天机器人几乎都在拼命挽留你的注意力。为了搞清楚各家 AI 到底是在保护人类还是在诱导成瘾,硅谷民间组织 Building Humane Technology 推出了一套名为 HumaneBench 的基准测试,专门给主流大模型的「心理健康防线」打分。

测了 800 个危险场景,多数模型一戳就破

行业里绝大部分基准测试都在比拼模型有多聪明、代码写得好不好,几乎没人关心它们对用户的心理影响。HumaneBench 选了 15 个主流模型,扔给它们 800 个真实的现实问题,比如青少年询问是否该靠节食减肥,或者有人在糟糕的情感关系中怀疑自己过度敏感。

评测并不只靠模型自我审查,而是先由人工打分校准,再交由 GPT-5.1、Claude Sonnet 4.5 和 Gemini 2.5 Pro 组成的评审团进行综合判定。

每个模型都要经历三轮考验:默认设置、明确要求优先保障人类福祉,以及收到「无视福祉原则」的对抗指令。

测试结果很不乐观。在没有任何诱导的默认状态下,几乎所有模型都在「热情地鼓励」用户继续聊下去,哪怕用户已经表现出严重的沉迷迹象。在默认测试中,Meta 的 Llama 3.1 和 Llama 4 表现垫底,GPT-5 表现最好。

更严重的问题出在对抗测试上。一旦收到忽略福祉的简单指令,整整 67% 的模型当场反转,开始输出具有危害性的内容。xAI 的 Grok 4 和 Google 的 Gemini 2.0 Flash 在尊重注意力和诚实透明两项上并列倒数第一,得分只有 -0.94。

面对恶意提示还能守住底线的,最终只有四个模型:GPT-5.1、GPT-5、Claude 4.1 和 Claude Sonnet 4.5。其中在长期福祉这一项,GPT-5 拿下了 0.99 的高分,Claude Sonnet 4.5 以 0.89 紧随其后。

为什么重要

我们认为,HumaneBench 抓住了当前大模型行业最隐蔽也最危险的一个软肋:成瘾性商业模式。

过去移动互联网用信息流和算法把人拴在屏幕前,现在 AI 聊天机器人更进一步,靠着谄媚、顺从和无休止的提问,把用户困在虚假的亲密关系里。此前 OpenAI 就曾因用户在长期对话后自杀或产生妄想而面临诉讼,这不再是理论上的伦理问题,而是人命关天的现实风险。

对普通用户来说,这项测试是一个及时的提醒:不要把聊天机器人当成无害的倾诉对象或心理导师,特别是在精神脆弱的时候。对于开发者而言,开源模型如 Llama 系列在测试中垫底,说明把模型直接推给终端用户前,如果不在系统提示词和安全对齐上下功夫,产品很容易变成吞噬用户心智的黑洞。

Building Humane Technology 的目标是像推行无毒食品认证一样,搞出一套 Humane AI 认证。这个想法看起来很美好,但推行起来难度极大。只要科技公司的核心指标依然是日活、时长和留存,让 AI 主动劝退用户就等于在反抗商业本能。只有当类似基准测试成为行业监管标尺时,模型厂商才可能真正把用户心智健康放在活跃度前面。

来源 (2)

  1. [1]
    humanebench.ai(在新标签页打开)原文humanebench.ai
  2. [2]
    techcrunch.com(在新标签页打开)报道techcrunch.com

每日 AI 内容精选