GPT-4がデータ注記で人間を凌駕：50万ドルと2万時間を削減

これまで大規模言語モデルの進化を支えてきたのは、膨大なテキストに対して人間が手作業でラベルを付ける「データラベリング」でした。

しかし、その常識を根底から覆す研究結果が明らかになりました。

カーネギーメロン大学、エール大学、カリフォルニア大学バークレー校の研究チームは、チャットボットのマキャベリ的傾向を調査する過程で、GPT-4が高スキルの人間ワーカーを上回る精度でアノテーションを行えることを突き止めました。

50万ドルの人件費が5000ドル以下に

研究チームが直面していたのは、57万2322件におよぶテキストシナリオの分類作業でした。

米Surge AIなどのトップクラスのアノテーターを時給25ドルで雇った場合、作業時間は2万時間に達し、費用は50万ドルを超える計算になります。

大学の研究室にとって、これほどの資金を投じるのは現実的ではありませんでした。

そこで研究チームは、独自のプロンプト設計と複数のモデル出力を統合するアンサンブル手法を採用し、GPT-4にラベリングを代行させました。

その結果、57万件以上のデータをわずか5000ドル未満のコストで処理することに成功しました。

さらに驚くべきは品質の高さです。専門家3人とクラウドワーカー3人がラベル付けした2000件のデータをGPT-4と比較したところ、GPT-4のラベルは一般的なワーカーよりも専門家の判断との相関が高いことが判明しました。

GPT-4は、わずか2つのカテゴリを除くすべての領域で人間ワーカーを上回り、項目によっては人間の2倍のスコアを記録しました。

人間の悪意や裏切りをAIが見抜く

GPT-4が特に強みを発揮したのは、人間の心理が絡む複雑なシナリオでした。

具体的には、精神的な脅迫などの非身体的危害、盗聴や監視行為、約束や契約の破棄といった背信行為の検出です。

文脈のニュアンスを汲み取る作業において、人間よりもAIの方が安定して高い精度を出せることを示しています。

クラウドワーカーの権利擁護団体「Turkopticon」の代表クリスタ・カウフマン氏は米メディアVICEに対し、文章の理解には単なる生成ではなく判断力が必要であり、現時点でAIを全面的に信頼することはできないと懸念を語っています。

なぜ重要か

私たちは、この成果がAI開発のコスト構造そのものを不可逆的に変える転換点になると考えています。

スタートアップや学術機関にとっての恩恵は絶大です。従来は大企業しか調達できなかった高品質な大規模アノテーションデータが、数千ドルのAPI利用料だけで手に入るようになり、開発の民主化が一気に加速します。

一方で、データラベリング産業やギグワーク市場には強烈な逆風となります。OpenAIやMetaを顧客に抱えるSurge AIのような企業であっても、モデル自身が作業を代替できるとなれば、ビジネスモデルの再構築を迫られるはずです。

ただし、このアプローチには潜在的なリスクもあります。AIが生成したラベルでAIを再訓練する手法は、モデル固有の偏見や盲点を増幅させる自己参照ループに陥る恐れがあります。短期的には賢いコスト削減策に見えますが、極端な例外事例の検証には依然として人間のチェックが不可欠だと考えられます。