EPFL 研究:近半数数据标注员偷偷用 ChatGPT「代工」
EPFL 研究发现,Amazon Mechanical Turk 上 33% 到 46% 的零工标注员正使用 ChatGPT 代工完成标注。这种用 AI 生成数据再训 AI 的做法可能放大错误与幻觉,且极难追溯。目前行业仍缺乏区分人机标注的有效手段。

很多人以为训练大模型靠的是顶尖科学家,或者至少是认真的人类在清洗数据。现实却有点讽刺:那些拿钱给 AI 标注数据的人,正悄悄把活儿外包给 ChatGPT。
瑞士联邦理工学院(EPFL)的一项研究发现,在亚马逊旗下的众包平台 Amazon Mechanical Turk 上,有相当大比例的数据标注员在用 AI 替自己打工。
抓现行:复制粘贴与词汇贫乏
训练 AI 做好特定任务需要海量标注,比如解验证码、标注文本文档等。科技公司通常把这些活儿丢给众包平台上的零工,报酬微薄,却要求他们快速交差。为了多赚点钱,有人用 ChatGPT 并不奇怪。
为了摸清到底有多少人这么做,EPFL 的研究团队招募了 44 名平台工人,让他们总结 16 篇医学研究论文的摘要。
研究人员随后用了两套方法来查岗。一套是分析工人的击键记录,看他们是不是直接从别处大段复制粘贴;另一套是跑一个他们自己训练的检测模型,去抓 ChatGPT 生成文本的特征,比如用词极度缺乏多样性。
结果显示,大约 33% 到 46% 的工人使用了像 ChatGPT 这样的 AI 工具。这项发表在 arXiv 上的预印本论文还指出,随着大模型越来越强、越来越普及,这个比例只会继续往上冲。
模型吃下自己的排泄物
这不仅仅是零工偷懒的问题,它直接关系到 AI 的质量根基。
大语言模型原本就经常把谎话当事实讲。如果它们生成的错误内容被标注员交上去,再拿去喂给新模型,错误就会被不断吸收和放大。
没有参与这项研究的牛津大学计算机科学研究员 Ilia Shumailov 直言,这种问题根本没有简单的解法。使用合成数据时,模型会继承统计偏差和错误理解,而且很难排查错误的源头到底在哪。
EPFL 助理教授 Robert West 则相对温和一些,他觉得这不意味着众包平台要完蛋,但各家必须重新审视哪些任务最容易被 AI 钻空子,并拿出防范措施。
为什么重要
我们认为,这件事撕开了一个被行业刻意回避的现实:大模型所谓的「人类反馈」,正在迅速退化成「AI 反馈 AI」的死循环。
对普通用户和开发者来说,这意味着未来很多依赖公开众包数据训练出来的模型,质量隐患会变大。如果你正在用一些号称人工清洗的廉价数据集,现在就该打个问号,里面的常识错误可能比你想的要隐蔽得多。
对科技公司而言,这种「低薪换海量标注」的算盘正在失效。给零工开极低的报酬,零工自然会用几秒钟就能出结果的 AI 敷衍了事。想要干净、真实的人类标注,行业不得不把预算投向专业团队和更严格的击键与流程审查。
用 AI 来给训练数据把关听起来很聪明,但只要核心激励机制没变,审查模型和作弊工人之间就会变成猫鼠游戏。在更严谨的数据验真工具出现之前,这种近亲繁殖带来的模型退化风险,只会越来越难防。
来源 (1)
- technologyreview.com(在新标签页打开)原文technologyreview.com