EPFL 研究:近半數資料標註員偷偷用 ChatGPT「代工」
EPFL 研究發現,Amazon Mechanical Turk 上 33% 到 46% 的零工標註員正使用 ChatGPT 代工完成標註。這種用 AI 生成資料再訓 AI 的做法可能放大錯誤與幻覺,且極難追溯。目前行業仍缺乏區分人機標註的有效手段。

很多人以為訓練大模型靠的是頂尖科學家,或者至少是認真的人類在清洗資料。現實卻有點諷刺:那些拿錢給 AI 標註資料的人,正悄悄把活兒外包給 ChatGPT。
瑞士聯邦理工學院(EPFL)的一項研究發現,在亞馬遜旗下的眾包平臺 Amazon Mechanical Turk 上,有相當大比例的資料標註員在用 AI 替自己打工。
抓現行:複製貼上與詞彙貧乏
訓練 AI 做好特定任務需要海量標註,比如解驗證碼、標註文本文件等。科技公司通常把這些活兒丟給眾包平臺上的零工,報酬微薄,卻要求他們快速交差。為了多賺點錢,有人用 ChatGPT 並不奇怪。
為了摸清到底有多少人這麼做,EPFL 的研究團隊招募了 44 名平臺工人,讓他們總結 16 篇醫學研究論文的摘要。
研究人員隨後用了兩套方法來查崗。一套是分析工人的擊鍵記錄,看他們是不是直接從別處大段複製貼上;另一套是跑一個他們自己訓練的檢測模型,去抓 ChatGPT 生成文本的特徵,比如用詞極度缺乏多樣性。
結果顯示,大約 33% 到 46% 的工人使用了像 ChatGPT 這樣的 AI 工具。這項發表在 arXiv 上的預印本論文還指出,隨著大模型越來越強、越來越普及,這個比例只會繼續往上衝。
模型吃下自己的排洩物
這不僅僅是零工偷懶的問題,它直接關係到 AI 的質量根基。
大語言模型原本就經常把謊話當事實講。如果它們生成的錯誤內容被標註員交上去,再拿去餵給新模型,錯誤就會被不斷吸收和放大。
沒有參與這項研究的牛津大學電腦科學研究員 Ilia Shumailov 直言,這種問題根本沒有簡單的解法。使用合成數據時,模型會繼承統計偏差和錯誤理解,而且很難排查錯誤的源頭到底在哪。
EPFL 助理教授 Robert West 則相對溫和一些,他覺得這不意味著眾包平臺要完蛋,但各家必須重新審視哪些任務最容易被 AI 鑽空子,並拿出防範措施。
為什麼重要
我們認為,這件事撕開了一個被行業刻意迴避的現實:大模型所謂的「人類反饋」,正在迅速退化成「AI 反饋 AI」的死迴圈。
對普通使用者和開發者來說,這意味著未來很多依賴公開眾包資料訓練出來的模型,質量隱患會變大。如果你正在用一些號稱人工清洗的廉價資料集,現在就該打個問號,裡面的常識錯誤可能比你想的要隱蔽得多。
對科技公司而言,這種「低薪換海量標註」的算盤正在失效。給零工開極低的報酬,零工自然會用幾秒鐘就能出結果的 AI 敷衍了事。想要乾淨、真實的人類標註,行業不得不把預算投向專業團隊和更嚴格的擊鍵與流程審查。
用 AI 來給訓練資料把關聽起來很聰明,但只要核心激勵機制沒變,審查模型和作弊工人之間就會變成貓鼠遊戲。在更嚴謹的資料驗真工具出現之前,這種近親繁殖帶來的模型退化風險,只會越來越難防。
來源 (1)
- technologyreview.com(在新分頁開啟)原文technologyreview.com