跳到正文
IFAI

AI科研

Anthropic 最新研究:用 AI 写代码,程序员测试成绩反而低 17%

首次发布 传播指数 36

Anthropic 公布针对 52 名初级工程师的随机对照实验。结果显示,用 AI 辅助学新工具虽然只快了约 2 分钟,但随后的技能测试均分比纯手写组低了 17%,调试题差距最明显。也就是说,单纯让 AI 代写会导致思考外包;只有主动追问原理的人才能兼顾效率与技能掌握。

Anthropic 最新研究:用 AI 写代码,程序员测试成绩反而低 17%
图:anthropic.com

写代码遇到不会的,直接把需求扔给 AI 生成,是现在很多程序员的日常。代码跑通了,任务提前交了,但你真的学会了吗?

Anthropic 最近做了一场随机对照实验,把 52 名软件工程师拉来做测试。结果发现,让 AI 帮着写代码虽然平均快了大约 2 分钟,但随后测试对这门新技术的掌握度时,AI 组的平均成绩比纯手写组低了整整 17%,相当于整整掉了两个评级。

更让人担忧的是,双方差距拉得最大的不是记忆语法,而是调试找错的能力。

越省力,忘得越快

这次实验招募的 52 名开发者主要是初级工程师,平时每周都用 Python,熟悉 AI 助手,但全都没用过一个叫 Trio 的异步编程库。

研究人员让他们用 Trio 完成两项编程任务,界面侧边栏配了一个能看懂代码、随时能给出正确答案的 AI 助手。对照组则完全纯手写,不能用 AI。

写完之后立刻开考。测试题涵盖代码阅读、概念理解和找 Bug。纯手写组的平均成绩是 67%,而 AI 组只有 50%。

手写组在编码过程中踩了更多坑,语法报错、逻辑报错不断。但恰恰是这些自己动手排错的过程,让他们在后面的调试测验里表现得更好。而 AI 组直接拿到了正确答案,却失去了建立排错直觉的机会。

你怎么使唤 AI,决定了你学到多少

不过,用 AI 也不一定会变笨,关键看你怎么用它。

Anthropic 调出选手的屏幕录像,发现他们使用 AI 的姿势大体分为两类。

得分低于 40% 的选手普遍在彻底「摸鱼」。有人把任务全丢给 AI 写,自己一行不写,交卷最快但考得最差;有人遇到 Bug 就一股脑甩给 AI 修,从不思考为什么报错;还有人一开始自己写,后来逐渐全部放权给 AI。

相反,得分在 65% 以上的高分选手,把 AI 当成了私教。表现最好的一种模式叫「概念提问」:他们只向 AI 询问库的核心原理和设计逻辑,代码全靠自己敲。这种选手不仅考了高分,完成速度在全场也仅次于完全放权给 AI 的组。

还有一种做法是先让 AI 生成代码,再追问「这段为什么要这么写」,虽然多花了一点时间,但理解并没有落下。

为什么重要

很多团队都在考核员工使用 AI 的频率,甚至把「AI 采纳率」当成业绩。但这项研究揭示了一个尴尬的代价:当程序员把思考完全外包给 AI 时,技能正在悄悄退化。

对开发者个人来说,如果你在学新技术,最好的方式不是让 AI 替你把活干完,而是把它当成随时答疑的导师。直接抄答案省下的半小时,可能会让你在生产环境遇到棘手 Bug 时彻底抓瞎。现在用 AI 写代码很爽,但值不值得在所有学习场景里无脑用,显然得打个问号。

对行业而言,它精准指出了 AI 编程浪潮最大的隐患。未来大部分基础代码都会由模型编写,人类的核心价值变成了代码审查和灾难恢复。但如果初级工程师因为过度依赖 AI,连最基本的调试和查错能力都练不出来,谁来给日后复杂的关键系统兜底?

我们认为 Anthropic 这项研究做得很聪明,它没有跟风吹捧效率,而是点破了「认知卸载」的潜在毒性。接下来的 AI 工具可能需要重新设计交互:不仅要会给答案,更要在用户偷懒时适度设卡、主动提问,帮人保住最核心的思考能力。

来源 (1)

  1. [1]
    anthropic.com(在新标签页打开)原文anthropic.com

每日 AI 内容精选