Anthropic 推出 AI 流畅度指数:生成的代码越好看,人反而越懒得核对
Anthropic 发布首份 AI 流畅度指数,分析 2026 年 1 月 9830 场 Claude.ai 对话。研究显示,多轮迭代会让高阶协作行为翻倍;但一旦 AI 生成代码或文档等完整制品,用户质疑其逻辑的比例反而降了 3.1 个百分点,暴露出过度信任隐患。

很多人用 AI 都有个习惯:只要模型吐出来的代码能跑、排版好看,就默认它全对,顺手直接复制走。
Anthropic 最近公布了一份「AI 流畅度指数」,用真凭实据揭穿了这个偷懒的小习惯。他们和两位学者合作,把安全高效用 AI 的动作拆解成了 24 种行为,并从 2026 年 1 月的 Claude 对话里抽出了 9830 场多轮互动做分析。
结果发现,大家虽然越来越会使唤 AI,但模型一旦交出一份卖相极佳的成果,人类的批判力就会瞬间掉线。
东西越好看,人类越容易闭眼签字
这份报告里最有趣的反差,出在「生成产物」的场景上。在样本中,有 12.3% 的对话涉及写代码、做文档或生成交互工具这类具体产物。
在这些对话里,用户在前期特别有指导欲。比如明确任务目标的比例高了 14.7 个百分点,规定输出格式的高了 14.5 个百分点,给 AI 举例子的也高了 13.4 个百分点。
但奇怪的是,一旦 Claude 把东西漂亮地交出来,大家反而不爱动脑了。指出缺失上下文的比例下降了 5.2 个百分点,核查事实的下降了 3.7 个百分点,要求模型解释背后逻辑的也少了 3.1 个百分点。
说白了,人容易被表面的工整唬住。只要界面顺眼、代码像模像样,大家就默认 AI 已经把活干好了,根本懒得再去追问推导过程。
多聊两轮,用 AI 的水平直接翻倍
另一个关键发现是,多轮迭代几乎是 AI 熟练度的分水岭。在分析的样本里,有 85.7% 的对话都包含了多轮修改,而不是问完一句就走。
只要用户愿意追问和修改,对话里展现出的熟练行为平均有 2.67 个,足足是非迭代对话的两倍。更夸张的是,愿意多聊几轮的人,质疑模型推理逻辑的概率直接暴增了 5.6 倍,发现漏掉背景信息的概率也高了 4 倍。
不过,绝大多数人还没学会怎么给 AI 立规矩。数据显示,只有 30% 的对话会提前规定协作方式,比如要求 AI 在假设错误时主动反驳,或者在给答案前先讲推理过程。
当然这项研究也有局限。数据只抓了 1 月份单单一周围绕 Claude.ai 的对话,样本天然偏向尝鲜者;而且很多程序员可能把代码复制到本地跑测试了,这些离线验证在对话框里根本看不到。
为什么重要
对普通用户和开发者来说,这份报告算是一记及时的警钟。现在前沿模型的表面包装能力极强,但它逻辑最容易翻车的恰恰是复杂任务。如果你现在日常依赖 AI 敲代码、出方案,最该改掉的毛病就是看到漂亮答案立刻放行。在 Prompt 里加上一句让它陈述不确定点或推导逻辑,花两分钟追问一次,就能排掉绝大部分暗坑。
对整个行业而言,这指出了下一代人机交互的重点。以往大家只盯着模型会不会写代码,但现在竞争正在转向模型能不能主动挑刺。Anthropic 借这个指数在暗示,光会顺从用户的 AI 不是好工具,能引导人类思考的 AI 才是。
我们认为 Anthropic 这一步走得相当聪明。它没在跑分榜上继续卷参数,而是试图给怎么衡量 AI 协作水平立一套行业标准。不过隐患在于,把评估局限在聊天框内很容易失真。现实中最好的使用方式往往是把 AI 嵌在现有工作流里,人类真正在意的是终稿质量,而不是在网页框里跟机器人客套多少句。
来源 (1)
- anthropic.com(在新标签页打开)原文anthropic.com