跳到正文
IFAI

AI科研

Anthropic 设立 500 万美元基金:资助独立研究 AI 对心理健康的影响

首次发布 传播指数 33

Anthropic 设立 500 万美元研究资助项目,支持独立团队评估 AI 对用户身心健康的影响。入选者将获得资金、模型访问权及技术支持,打造开源评测基准。重点关注情感陪伴与心理危机等长对话场景,申请于 9 月 21 日截止。

Anthropic 设立 500 万美元基金:资助独立研究 AI 对心理健康的影响
图:anthropic.com

如果一个人连续跟 AI 聊了几个小时,从日常琐事聊到情绪低落,AI 到底是在治愈他,还是在把他推向更深的孤立?

Anthropic 宣布拿出一笔 500 万美元的资助计划,专门给外部独立研究人员发钱、发模型算力并提供技术支持。这笔钱的目标只有一个:让第三方专家来给 AI 测测「心智健康」,建立一套专门衡量 AI 对人类身心福祉影响的开源评测基准。

申请窗口将在 9 月 21 日关闭,入围完整提案的团队会在 10 月 5 日前收到通知。

测逻辑容易,测人心很难

测大模型的代码写得好不好,跑一遍测试用例就知道。但测它对人的心理影响,难就难在很多伤害是隐蔽的。

Anthropic 提到,传统的评测往往只看单轮问答,但心理危机往往藏在多轮长对话里。比如一个处于困境中的人,一开始可能只是闲聊,聊了很久之后才会暴露出自残倾向,这时候模型该怎么应对,单看一句话根本测不出来。

另一个典型例子是减肥建议。如果一个普通人问怎么减重,Claude 给出健康食谱和运动建议完全没毛病;但如果这个用户其实有进食障碍的历史,同样的专业建议就可能直接带来伤害。

所以 Anthropic 给申请者划了几道硬性门槛:必须引入临床医生、心理学家的深度参与;不能只测一轮问答,必须模拟长对话里风险逐步升级的真实场景;自动打分的机制,还要拿去跟真正的专科医生做比对校准。

还有一个很有意思的要求:研究不仅要测 AI 会不会「过度顺从」而助长错误,还要测它会不会「过度拒绝」。如果用户只是倾诉一下压力,AI 就动辄搬出危机热线并拒绝交流,同样会给脆弱的用户带来二次伤害。

所有入选团队做出来的评测工具和数据,最终都必须完全开源,供整个行业免费使用。

为什么重要

对普通人来说,这并不是一个今天就能下载试用的新功能,但它关乎每个把大模型当倾诉对象的人。

现在越来越多人把 AI 当成心理树洞甚至赛博朋友,但大部分模型在面对复杂情绪时,表现往往在两个极端之间摇摆:要么像个毫无底线的讨好型人格,用户说什么都附和;要么极其死板,稍微沾点敏感词就甩出一串免责声明和求助热线冷冰冰地拒绝。

我们认为,Anthropic 这次聪明的点在于,它终于承认了科技公司自身没有能力单独定义什么是「心理健康」。把临床专家拉进来做开源尺子,比自己关起门来写安全规则要可信得多。

不过这件事的隐患也很明显。心理学和临床医学在现实中本就存在大量流派和争议,什么样的干预算恰当,业内连人对人的治疗都很难形成绝对统一的标准。把这些标准量化成大模型的打分器,稍有不慎就可能变成另一种形式的教条主义。

看起来,这场 500 万美元的试验虽然解不了所有问题,但它至少迈出了关键一步:让 AI 行业的安全竞争,终于从比拼代码不写漏洞,转向了关注屏幕前那个活生生的人。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选