Anthropic 公布 AI 危害评估框架：非必要拒答减少 45%

过去很长一段时间，AI 厂商聊起安全，嘴边挂着的都是灭世级别的灾难，比如生化武器泄露、AI 失控。但现实中，普通人更容易碰到的其实是诈骗、被过度拒答气死，或者模型开始接管鼠标键盘后的误操作。

Anthropic 公布了一套更全面的 AI 危害评估与治理框架。这家向来把安全当底牌的公司表示，之前的 RSP（负责任扩展政策）死盯极端灾难风险，现在他们要把视线拉回现实，给形形色色的日常危害也立规矩。

拆解伤害的五个维度

Anthropic 这次把潜在的 AI 伤害切成了五个基础维度：身体影响、心理影响、经济影响、社会影响，以及个人自主权影响。

评估时不仅看危害大不大，还要综合衡量发生概率、波及规模、受害人群、持续时间，以及技术在其中到底起了多大作用。

在治理手段上，除了常规的红队测试和使用规范，Anthropic 强调根据危害程度实行阶梯处置，轻则在后台调整提示词，重则直接封禁账号。

这套框架不是停在纸面上，官方给出了两个具体的应用场景。

一个是备受关注的 Computer Use（电脑操作功能）。当 AI 能够直接点击屏幕、操作软件时，金融平台操作和通讯工具成了重点防范区，防止 AI 被拿来洗钱、转账或自动化发送钓鱼邮件。为了在兼顾隐私的同时揪出滥用，Anthropic 采用了一种名为「分层摘要」的检测手段。

另一个是老生常谈的拒答问题。模型要是太顺从，容易干坏事；要是太胆小，又会把正常用户的求助当成危险行为给拒了。Anthropic 表示，他们在 Claude 3.7 Sonnet 上优化了对模糊提示词的处理，让模型在安全的前提下尽量多给有用建议，把不必要的拒答率直接砍掉了 45%。

为什么重要

我们认为，Anthropic 这次发声最聪明的地方，在于把 AI 安全的讨论从玄学拉回了工程落地。

天天扯超级智能毁灭人类，容易给行业制造虚无感。对普通开发者和终端用户来说，真正的痛点在于：写个正常的学术调研，模型动不动就甩一句「我无法回答」；或者调个代理操作桌面，一不小心把重要邮件删了。

Claude 3.7 Sonnet 能减少 45% 的过度拒答，说明精细化安全并不必然牺牲可用性，这直接提升了日常写代码和做分析的体验。

对行业而言，Anthropic 这是在给整个 Agent 时代提前立靶子。随着各家模型都开始具备自主操作电脑的能力，谁能证明自己的 Agent 不会在用户的银行网页上乱点，谁才能拿到企业级订单。

不过挑战同样明显。心理健康和社会自主权这类软性伤害，界限往往非常主观。一旦管控尺度拿捏不好，后台的安全扫描手段很容易被质疑侵犯隐私。分层摘要能不能经受住真实黑客对抗与隐私审查的考验，接下来还要打个问号。