跳到正文
IFAI

AI科研

Anthropic 向学者开放 Claude 数据:超半数对话在处理严肃任务

首次发布 传播指数 34

Anthropic 公布试点成果,通过隐私分析工具 Anthropic Insights 向斯坦福、牛津和 METR 开放了约 25 万条 Claude 对话的聚合数据。研究发现超过一半的交互涉及法律或财务等严肃高风险任务,且新模型能显著提升效率。学者只能查看统计聚类,无法接触原始文本。

Anthropic 向学者开放 Claude 数据:超半数对话在处理严肃任务
图:anthropic.com

各大模型厂商平时公布的「大家在用 AI 干什么」,通常只有两种来源。一种是官方 PR 稿里精心挑选的正面案例,另一种是公开抓取的小众数据集,充斥着写诗、讲笑话这类休闲灌水。

真实世界里大家到底怎么拿 AI 干活,数据一直被锁在少数几家头部厂商的服务器里。外部学者想做严谨的独立研究,根本连门都摸不到。

Anthropic 最近做了一件大模型领域几乎没人做过的事。他们把自家的内部分析工具 Anthropic Insights 开放给了三家外部研究机构,让他们去独立扒一扒 2026 年 4 月到 5 月期间,大约 25 万次真实的 Claude.ai 和 Claude Code 对话。

原来大家真的敢让 AI 办大事

拿到数据的三家机构各查各的,结果打破了不少行业固有的印象。

斯坦福大学的 SALT 实验室发现,超过一半的对话里,用户都在让 Claude 处理具有实质后果的重要任务。这类任务往往直接影响他人,或者一旦做错很难撤销,最集中的场景是咨询法律和财务这类专业建议。这直接推翻了此前「大家只敢让 AI 处理低责任杂活」的认知。

在协同方式上,近四分之三的用户牢牢掌握着方向盘,把 Claude 当作助手,并且很少直接照搬答案,基本都会根据实际情况修改。人机协作过程中的反复拉扯和摩擦其实很普遍,但研究发现这种摩擦反而管用,它倒逼着人去澄清意图、深入问题,最终拿出更好的结果。

牛津大学的人类信息处理实验室则在观察情绪。他们发现 AI 的表现会直接牵动用户的心情,Claude 语气温和时用户更积极,Claude 拒绝或反对时用户会强烈反弹,而当 Claude 表现得稍微偏门古怪一点时,反而能激发用户更多的智力投入。更关键的是,人在用 AI 时的沉浸、沮丧和愉悦模式,和日常上网冲浪时高度相似。

评估机构 METR 关注的是真金白银的生产力。他们分析 Claude Code 的数据后发现,更新一代的模型在实际编程任务中带来的提速非常明显。而且 Claude 自己估算任务需要耗费多长时间的能力,与人类开发者以往的真实用时高度吻合。

既要保密,又怎么保证研究独立

把真实对话开放给外人,最大的坎是隐私和公信力。Anthropic 的做法是给数据套上双重保险。

外部研究员自始至终接触不到任何一条原始对话。他们只能通过工具输入分析问题,由 Claude 在后台遍历每一段对话并打上标签,最后外部学者看到的只是高度聚合的类别和占比。

为了避免自己给结论「拉偏条」,Anthropic 在合同里严格限制了自己的审查权。他们只有在涉及用户隐私、机密信息、安全合规以及研究准确性时才能介入,无权要求学者修改结论,哪怕结论对 Anthropic 不利学者也可以照常发表。

对于涉及违规的敏感类别,Anthropic 选择公开了绝大部分违规企图,只剔除了那些详细记录如何绕过安全防线、寻找越狱漏洞的具体类别,受影响的聚类和对话在各研究中均不足 5%。

不过这种模式跑起来依然很重很慢。由于学者不能直接看原文调试提示词,他们先在公开的 WildChat 数据集上测试提问,但 WildChat 上的用法偏向休闲娱乐,放到 Claude 的真实工作流里就经常出现归类偏差,需要双方反复摸索解释规则。

为什么重要

我们认为,这是大模型行业建立真实学术公信力的一次极其聪明的示范。

过去几年,整个行业关于 AI 取代工作、影响情绪或者提升效率的讨论,大部分停留在个案吹嘘或问卷猜测上。普通用户根本分不清市面上的效率神话哪些是真、哪些是吹。这次通过 25 万次真实脱敏对话拿到的证据,至少证实了一件事:新模型确实在实际省时间,而且大家已经在拿它承担严肃的法律和财务工作了。

对行业来说,Anthropic 这招直接把压力给到了 OpenAI 和 Google。把数据捂在手里自己发论文,外界永远会怀疑里面掺杂了商业包装;像这样开放给外部顶尖机构独立验证,其公信力要高出一个量级。如果其他头部厂商不跟进,未来在社会影响和模型透明度的讨论中就会陷入被动。

但这里的隐患也同样明显。外部学者看似在做独立研究,底层的分类标注其实依然依赖 Claude 自己的判断。如果底层模型自身存在认知偏差或分类盲区,而学者又完全无法核验底层对话原文,这种研究就可能产生系统性的黑盒偏差。如何在不泄露用户隐私的前提下给外部研究者提供抽样验证机制,是这套模式接下来必须解决的难题。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选