新研究发现 GPT-4 数据标注超越顶级人工：省下 50 万美元与 2 万工时

过去一年里，AI 公司最烧钱的环节之一，就是花大价钱雇佣人类标注员给数据挑刺、打分。

但这套维持了很久的规矩，正在被模型自己推翻。

来自卡耐基梅隆大学、耶鲁大学和加州大学伯克利分校的一组研究人员，在研究聊天机器人的「马基雅维利倾向」时，意外砸出了一个极具破坏力的结论：GPT-4 在数据标注上的表现，不仅赶上了人类，甚至直接碾压了行业里的顶级熟练工。

50 万美元的人工费，被压缩到不到 5000 块

这组团队最初面临着 572,322 个文本场景的标注难题。

如果按照传统路线，去雇佣知名数据标注平台 Surge AI 的顶级专家，按每小时 25 美元的行价，总共需要干满 20,000 个小时。

这意味着研究团队还没开始跑实验，就得先掏出超过 50 万美元的人工标注费。对学术机构来说，这笔钱显然太沉重了。

于是他们决定换个思路，给 GPT-4 编写自定义提示词，并结合多个模型输出的集成方法来做标注。

算完账后，研究人员发现，处理完这 57 万多条场景，他们大概只花了不到 5000 美元。

更让人吃惊的是质量。研究人员拿专家和普通标注员打标的 2000 个样本同 GPT-4 对比，发现 GPT-4 标注的结果，与专家标注的相关性明显高于人类众包工人。

除了两个类别之外，GPT-4 在其他所有任务里都打赢了人类，在某些特定类别下的表现甚至好上两倍。

越是微妙的恶意，AI 抓得越准

人类原本以为自己在感知复杂社会关系上具有绝对优势，但实验数据给出了相反的答案。

GPT-4 表现最突出的地方，恰恰是那些充满心机和微妙恶意的场景。

比如识别非身体伤害，像言语恐吓或冷暴力霸凌；识别刺探隐私和窃听；以及识别背弃诺言和撕毁合同。

在这些需要细腻情境感知的领域，人类众包工人容易走神或产生主观分歧，模型反而拿出了极高的一致性。

两周前，学界刚发现 GPT-3.5 在复杂标注任务上击败了亚马逊 Mechanical Turk 的顶级工人，现在 GPT-4 又把天花板往上抬了一大截。

这直接动了数据标注外包公司的奶酪。像 Surge AI 这样的明星初创公司，客户名单里排满了 OpenAI、Meta 和 Anthropic，主打的就是覆盖 40 多种语言的「精英劳动力」，以此支撑 RLHF 训练。

众包工人权益组织 Turkopticon 的负责人 Krystall Kuaffman 接受 VICE 采访时表达了疑虑。她认为写作核心是价值判断，目前还有太多未解问题，不能盲目相信 AI 能彻底取代人类。

为什么重要

我们认为，这项研究给整个 AI 研发流程带来的震动，甚至超过了模型本身的升级。

对开发者和研究人员来说，这是一次彻底的平权。原本只有大厂才烧得起的 50 万美元数据标注预算，现在几千美元的 API 账单就能解决，高质量数据集的生产门槛被生生打碎了。

对行业来说，RLHF 赖以生存的人工标注供应链正在遭遇逻辑塌方。当模型打标质量已经比肩甚至超过大多数人类兼职者，AI 标注 AI 的自动化闭环就会加速成型。

但这里的隐患同样显而易见。

用 AI 来筛选和清洗训练数据，看起来成本极低、效率极高，但它本质上是一种近亲繁殖。如果模型自身带有某种认知盲区，这种盲区会在自监督循环中被成倍放大，而没有人类直觉在旁纠偏，系统最终可能会在某些极端边界条件下彻底失控。

无论如何，依靠廉价人力堆砌标注数据的时代，恐怕真的要翻篇了。