新研究發現 GPT-4 資料標註超越頂級人工：省下 50 萬美元與 2 萬工時

過去一年裡，AI 公司最燒錢的環節之一，就是花大價錢僱傭人類標註員給資料挑刺、打分。

但這套維持了很久的規矩，正在被模型自己推翻。

來自卡耐基梅隆大學、耶魯大學和加州大學伯克利分校的一組研究人員，在研究聊天機器人的「馬基雅維利傾向」時，意外砸出了一個極具破壞力的結論：GPT-4 在資料標註上的表現，不僅趕上了人類，甚至直接碾壓了行業裡的頂級熟練工。

50 萬美元的人工費，被壓縮到不到 5000 塊

這組團隊最初面臨著 572,322 個文本場景的標註難題。

如果按照傳統路線，去僱傭知名資料標註平臺 Surge AI 的頂級專家，按每小時 25 美元的行價，總共需要幹滿 20,000 個小時。

這意味著研究團隊還沒開始跑實驗，就得先掏出超過 50 萬美元的人工標註費。對學術機構來說，這筆錢顯然太沉重了。

於是他們決定換個思路，給 GPT-4 編寫自定義提示詞，並結合多個模型輸出的整合方法來做標註。

算完賬後，研究人員發現，處理完這 57 萬多條場景，他們大概只花了不到 5000 美元。

更讓人吃驚的是質量。研究人員拿專家和普通標註員打標的 2000 個樣本同 GPT-4 對比，發現 GPT-4 標註的結果，與專家標註的相關性明顯高於人類眾包工人。

除了兩個類別之外，GPT-4 在其他所有任務裡都打贏了人類，在某些特定類別下的表現甚至好上兩倍。

越是微妙的惡意，AI 抓得越準

人類原本以為自己在感知複雜社會關係上具有絕對優勢，但實驗資料給出了相反的答案。

GPT-4 表現最突出的地方，恰恰是那些充滿心機和微妙惡意的場景。

比如識別非身體傷害，像言語恐嚇或冷暴力霸凌；識別刺探隱私和竊聽；以及識別背棄諾言和撕毀合同。

在這些需要細膩情境感知的領域，人類眾包工人容易走神或產生主觀分歧，模型反而拿出了極高的一致性。

兩週前，學界剛發現 GPT-3.5 在複雜標註任務上擊敗了亞馬遜 Mechanical Turk 的頂級工人，現在 GPT-4 又把天花板往上抬了一大截。

這直接動了資料標註外包公司的乳酪。像 Surge AI 這樣的明星初創公司，客戶名單裡排滿了 OpenAI、Meta 和 Anthropic，主打的就是覆蓋 40 多種語言的「精英勞動力」，以此支撐 RLHF 訓練。

眾包工人權益組織 Turkopticon 的負責人 Krystall Kuaffman 接受 VICE 採訪時表達了疑慮。她認為寫作核心是價值判斷，目前還有太多未解問題，不能盲目相信 AI 能徹底取代人類。

為什麼重要

我們認為，這項研究給整個 AI 研發流程帶來的震動，甚至超過了模型本身的升級。

對開發者和研究人員來說，這是一次徹底的平權。原本只有大廠才燒得起的 50 萬美後設資料標註預算，現在幾千美元的 API 賬單就能解決，高質量資料集的生產門檻被生生打碎了。

對行業來說，RLHF 賴以生存的人工標註供應鏈正在遭遇邏輯塌方。當模型打標質量已經比肩甚至超過大多數人類兼職者，AI 標註 AI 的自動化閉環就會加速成型。

但這裡的隱患同樣顯而易見。

用 AI 來篩選和清洗訓練資料，看起來成本極低、效率極高，但它本質上是一種近親繁殖。如果模型自身帶有某種認知盲區，這種盲區會在自監督迴圈中被成倍放大，而沒有人類直覺在旁糾偏，系統最終可能會在某些極端邊界條件下徹底失控。

無論如何，依靠廉價人力堆砌標註資料的時代，恐怕真的要翻篇了。