跳到正文
IFAI

AI科研

斯坦福研究警告:AI 檢測器歧視非母語者,超半數託福作文被誤判

首次發布 傳播指數 36

斯坦福大學團隊在《Patterns》發表研究,測試 7 款熱門 AI 檢測器發現,超半數非母語者的託福作文被誤判為 AI 生成,其中一款誤判率達 98%。檢測器因詞彙簡單且困惑度低而誤判,這種偏見反而倒逼非母語者用 ChatGPT 潤色自證清白。

斯坦福研究警告:AI 檢測器歧視非母語者,超半數託福作文被誤判
圖:theguardian.com

如果你英語不是母語,老老實實花幾個小時寫完一篇作業或求職信,最後卻被老師或 HR 用的 AI 檢測器扣上一頂「作弊」的帽子,會有多憋屈?

這還真不是個案。斯坦福大學助理教授 James Zou 帶領的研究團隊在期刊《Patterns》上發表了一項研究,測試了市面上 7 款主流的 GPT 檢測工具,結果發現這些工具對非母語寫作者存在嚴重的系統性歧視。

託福作文被判 AI,初二學生卻沒事

研究團隊拿了 91 篇專門針對非母語者的託福(TOEFL)考試作文,扔進這 7 款檢測軟體裡跑了一遍。

結果讓人大跌眼鏡:超過半數的託福作文被系統標記為「AI 生成」。更誇張的是,其中一款檢測工具把整整 98% 的託福作文都當成了 AI 的傑作。

但當研究人員把美國本土初二學生寫的作文扔進去時,畫風完全變了。同樣的檢測工具,把超過 90% 的母語學生作文準確識別為人類所寫。

很多檢測軟體對外宣傳自己有 99% 的準確率,研究人員直言,這種宣傳往好了說也是具有嚴重誤導性的。

詞彙量不夠,演算法就覺得你不是人

為什麼非母語者會平白無故挨這記悶棍?問題出在檢測器的工作原理上。

這些程式主要依賴一個叫「文本困惑度」(text perplexity)的指標。簡單來說,就是看 AI 模型在預測下一個詞時有多「意外」。如果下一個詞特別好猜,困惑度就低;如果詞用得出人意料,困惑度就高。

像 ChatGPT 這類大模型,訓練目標就是生成低困惑度的順暢文本。但不巧的是,非英語母語者寫東西時,通常詞彙量有限,習慣用最常見、最穩妥的詞和固定句式。在演算法眼裡,這種規整甚至略顯平淡的表達,跟 AI 吐出來的字幾乎一模一樣。

更有諷刺意味的還在後面。研究團隊把那些被誤判的託福作文交給 ChatGPT,讓它用更高階、更復雜的詞彙潤色重寫了一遍。

當這批真正由 AI 潤色過的文章再次送檢時,檢測器居然全部給打了綠燈,認定它們百分之百出自人類之手。這直接導向了一個荒誕的現實:為了證明自己是真人,非母語者反而得先去求助 AI。

為什麼重要

在學校和職場裡,這類 AI 檢測器正在被當成判定學術不端或誠信問題的鐵證。對留學生或跨國求職者來說,哪怕你一個字母一個字母敲完全文,只要語言習慣偏保守,就可能平白無故背上作弊的罪名,甚至斷送學業和職業前程。

我們認為,靠檢測演算法來防 AI 作弊,從底層邏輯上就是一條死衚衕。檢測器把「語言熟練度」和「真人屬性」粗暴地畫上等號,本質上是在用演算法放大既有的語言壁壘。

塞普勒斯開放大學的研究者 Jahna Otterbacher 點得很透,ChatGPT 每天都在學習怎麼討好人類,它隨時能學會如何騙過檢測器,用 AI 打敗 AI 註定是一場贏不了的軍備競賽。

看起來,學校和企業如果繼續迷信這套所謂 99% 準確率的工具,不僅抓不到真正用 AI 摸魚的高手,反而會精準誤傷最認真、最努力的那批非母語普通人。

來源 (1)

  1. [1]
    theguardian.com(在新分頁開啟)原文theguardian.com

話題追蹤ChatGPT 對高等教育的影響

這個話題的歷次新聞,最新的在上面。

  1. 斯坦福研究警告:AI 檢測器歧視非母語者,超半數託福作文被誤判本則
  2. 誤信 ChatGPT 能測代寫:德州一教授給大半個班打了零分
  3. 大學課堂強制用 AI 寫作業:協同修改比直接甩提示詞好得多
  4. 防範學生用 ChatGPT 代寫論文,美國多所大學緊急重構教學
  5. ChatGPT 引動作弊擔憂:英國高校被敦促改革考核機制

每日 AI 內容精選