跳到正文
IFAI

AI科研

Anthropic 最新研究:用 AI 寫程式碼,程式設計師測試成績反而低 17%

首次發布 傳播指數 36

Anthropic 公佈針對 52 名初級工程師的隨機對照實驗。結果顯示,用 AI 輔助學新工具雖然只快了約 2 分鐘,但隨後的技能測試均分比純手寫組低了 17%,除錯題差距最明顯。也就是說,單純讓 AI 代寫會導致思考外包;只有主動追問原理的人才能兼顧效率與技能掌握。

Anthropic 最新研究:用 AI 寫程式碼,程式設計師測試成績反而低 17%
圖:anthropic.com

寫程式碼遇到不會的,直接把需求扔給 AI 生成,是現在很多程式設計師的日常。程式碼跑通了,任務提前交了,但你真的學會了嗎?

Anthropic 最近做了一場隨機對照實驗,把 52 名軟體工程師拉來做測試。結果發現,讓 AI 幫著寫程式碼雖然平均快了大約 2 分鐘,但隨後測試對這門新技術的掌握度時,AI 組的平均成績比純手寫組低了整整 17%,相當於整整掉了兩個評級。

更讓人擔憂的是,雙方差距拉得最大的不是記憶語法,而是除錯找錯的能力。

越省力,忘得越快

這次實驗招募的 52 名開發者主要是初級工程師,平時每週都用 Python,熟悉 AI 助手,但全都沒用過一個叫 Trio 的非同步程式設計庫。

研究人員讓他們用 Trio 完成兩項程式設計任務,介面側邊欄配了一個能看懂程式碼、隨時能給出正確答案的 AI 助手。對照組則完全純手寫,不能用 AI。

寫完之後立刻開考。測試題涵蓋程式碼閱讀、概念理解和找 Bug。純手寫組的平均成績是 67%,而 AI 組只有 50%。

手寫組在編碼過程中踩了更多坑,語法報錯、邏輯報錯不斷。但恰恰是這些自己動手排錯的過程,讓他們在後面的除錯測驗裡表現得更好。而 AI 組直接拿到了正確答案,卻失去了建立排錯直覺的機會。

你怎麼使喚 AI,決定了你學到多少

不過,用 AI 也不一定會變笨,關鍵看你怎麼用它。

Anthropic 調出選手的螢幕錄影,發現他們使用 AI 的姿勢大體分為兩類。

得分低於 40% 的選手普遍在徹底「摸魚」。有人把任務全丟給 AI 寫,自己一行不寫,交卷最快但考得最差;有人遇到 Bug 就一股腦甩給 AI 修,從不思考為什麼報錯;還有人一開始自己寫,後來逐漸全部放權給 AI。

相反,得分在 65% 以上的高分選手,把 AI 當成了私教。表現最好的一種模式叫「概念提問」:他們只向 AI 詢問庫的核心原理和設計邏輯,程式碼全靠自己敲。這種選手不僅考了高分,完成速度在全場也僅次於完全放權給 AI 的組。

還有一種做法是先讓 AI 生成程式碼,再追問「這段為什麼要這麼寫」,雖然多花了一點時間,但理解並沒有落下。

為什麼重要

很多團隊都在考核員工使用 AI 的頻率,甚至把「AI 採納率」當成業績。但這項研究揭示了一個尷尬的代價:當程式設計師把思考完全外包給 AI 時,技能正在悄悄退化。

對開發者個人來說,如果你在學新技術,最好的方式不是讓 AI 替你把活幹完,而是把它當成隨時答疑的導師。直接抄答案省下的半小時,可能會讓你在生產環境遇到棘手 Bug 時徹底抓瞎。現在用 AI 寫程式碼很爽,但值不值得在所有學習場景裡無腦用,顯然得打個問號。

對行業而言,它精準指出了 AI 程式設計浪潮最大的隱患。未來大部分基礎程式碼都會由模型編寫,人類的核心價值變成了程式碼審查和災難恢復。但如果初級工程師因為過度依賴 AI,連最基本的除錯和查錯能力都練不出來,誰來給日後複雜的關鍵系統兜底?

我們認為 Anthropic 這項研究做得很聰明,它沒有跟風吹捧效率,而是點破了「認知解除安裝」的潛在毒性。接下來的 AI 工具可能需要重新設計互動:不僅要會給答案,更要在使用者偷懶時適度設卡、主動提問,幫人保住最核心的思考能力。

來源 (1)

  1. [1]
    anthropic.com(在新分頁開啟)原文anthropic.com

每日 AI 內容精選