跳到正文
IFAI

AI科研

Anthropic 推出 AI 流暢度指數:生成的程式碼越好看,人反而越懶得核對

首次發布 傳播指數 34

Anthropic 釋出首份 AI 流暢度指數,分析 2026 年 1 月 9830 場 Claude.ai 對話。研究顯示,多輪迭代會讓高階協作行為翻倍;但一旦 AI 生成程式碼或文件等完整製品,使用者質疑其邏輯的比例反而降了 3.1 個百分點,暴露出過度信任隱患。

Anthropic 推出 AI 流暢度指數:生成的程式碼越好看,人反而越懶得核對
圖:anthropic.com

很多人用 AI 都有個習慣:只要模型吐出來的程式碼能跑、排版好看,就預設它全對,順手直接複製走。

Anthropic 最近公佈了一份「AI 流暢度指數」,用真憑實據揭穿了這個偷懶的小習慣。他們和兩位學者合作,把安全高效用 AI 的動作拆解成了 24 種行為,並從 2026 年 1 月的 Claude 對話裡抽出了 9830 場多輪互動做分析。

結果發現,大家雖然越來越會使喚 AI,但模型一旦交出一份賣相極佳的成果,人類的批判力就會瞬間掉線。

東西越好看,人類越容易閉眼簽字

這份報告裡最有趣的反差,出在「生成產物」的場景上。在樣本中,有 12.3% 的對話涉及寫程式碼、做文件或生成互動工具這類具體產物。

在這些對話裡,使用者在前期特別有指導欲。比如明確任務目標的比例高了 14.7 個百分點,規定輸出格式的高了 14.5 個百分點,給 AI 舉例子的也高了 13.4 個百分點。

但奇怪的是,一旦 Claude 把東西漂亮地交出來,大家反而不愛動腦了。指出缺失上下文的比例下降了 5.2 個百分點,核查事實的下降了 3.7 個百分點,要求模型解釋背後邏輯的也少了 3.1 個百分點。

說白了,人容易被表面的工整唬住。只要介面順眼、程式碼像模像樣,大家就預設 AI 已經把活幹好了,根本懶得再去追問推導過程。

多聊兩輪,用 AI 的水平直接翻倍

另一個關鍵發現是,多輪迭代幾乎是 AI 熟練度的分水嶺。在分析的樣本里,有 85.7% 的對話都包含了多輪修改,而不是問完一句就走。

只要使用者願意追問和修改,對話裡展現出的熟練行為平均有 2.67 個,足足是非迭代對話的兩倍。更誇張的是,願意多聊幾輪的人,質疑模型推理邏輯的機率直接暴增了 5.6 倍,發現漏掉背景資訊的機率也高了 4 倍。

不過,絕大多數人還沒學會怎麼給 AI 立規矩。資料顯示,只有 30% 的對話會提前規定協作方式,比如要求 AI 在假設錯誤時主動反駁,或者在給答案前先講推理過程。

當然這項研究也有侷限。資料只抓了 1 月份單單一週圍繞 Claude.ai 的對話,樣本天然偏向嚐鮮者;而且很多程式設計師可能把程式碼複製到本地跑測試了,這些離線驗證在對話方塊里根本看不到。

為什麼重要

對普通使用者和開發者來說,這份報告算是一記及時的警鐘。現在前沿模型的表面包裝能力極強,但它邏輯最容易翻車的恰恰是複雜任務。如果你現在日常依賴 AI 敲程式碼、出方案,最該改掉的毛病就是看到漂亮答案立刻放行。在 Prompt 里加上一句讓它陳述不確定點或推導邏輯,花兩分鐘追問一次,就能排掉絕大部分暗坑。

對整個行業而言,這指出了下一代人機互動的重點。以往大家只盯著模型會不會寫程式碼,但現在競爭正在轉向模型能不能主動挑刺。Anthropic 借這個指數在暗示,光會順從使用者的 AI 不是好工具,能引導人類思考的 AI 才是。

我們認為 Anthropic 這一步走得相當聰明。它沒在跑分榜上繼續卷引數,而是試圖給怎麼衡量 AI 協作水平立一套行業標準。不過隱患在於,把評估侷限在聊天框內很容易失真。現實中最好的使用方式往往是把 AI 嵌在現有工作流裡,人類真正在意的是終稿質量,而不是在網頁框裡跟機器人客套多少句。

來源 (1)

  1. [1]
    anthropic.com(在新分頁開啟)原文anthropic.com

每日 AI 內容精選