本文へスキップ
IFAI

研究

AI学習データを作る作業員、最大46%がChatGPTに「下請け」

公開 拡散指数 35

スイス連邦工科大学ローザンヌ校(EPFL)の研究で、Amazon Mechanical Turk でデータ作成を請け負う作業員の33%〜46%がChatGPTなどのAIを使って作業していることが判明した。AI生成データで別のAIを再学習させると誤情報が増幅する恐れがあるが、有効な判別手段はまだ確立されていない。

AI学習データを作る作業員、最大46%がChatGPTに「下請け」
画像:technologyreview.com

最先端のAIを育てるために必要な「人間の知見」が、実は別のAIによって代筆されている実態が明らかになりました。

スイス連邦工科大学ローザンヌ校(EPFL)の研究チームは、クラウドソーシング上でAIの学習データ作成を請け負うワーカーの相当数が、作業をChatGPTなどのAIに外注しているという調査結果を発表しました。

キーストロークと語彙の偏りから発覚

AIを高精度に訓練するには、テキストの要約や分類といった膨大なラベル付け作業が欠かせません。多くのテック企業はAmazon Mechanical Turkなどのプラットフォームでギグワーカーを雇い、これらを処理させています。しかし報酬は極めて低く、短時間での大量処理が求められる環境です。

そこでEPFLの研究者は、44人のワーカーに16本の医学論文の要約を依頼し、実際の作業状況を調べました。

研究チームは外部からのコピー&ペーストを検知するキーストローク分析に加え、語彙の多様性の欠如などChatGPT特有の兆候を検出する独自モデルを使って回答を検証しました。

その結果、実に33%から46%の作業者がChatGPTなどのAIを使用して回答を生成していたことが判明しました。研究チームは、AIが進化して身近になるにつれ、この割合はさらに高まる可能性が高いと指摘しています。

AIの出力を別のAIが食べる悪循環

これは単なるサボりの問題にとどまらず、AIモデル全体の精度を脅かす構造的リスクです。

大規模言語モデルは、時として誤った情報を事実のように出力します。その出力を人間による正解データとして別のAIの学習に使うと、誤りが蓄積され、後から原因を特定することが困難になります。

オックスフォード大学のコンピュータ科学研究員であるIlia Shumailov氏は、人工的に生成されたデータにはモデルの誤認や統計的誤差が含まれるため、簡単に修正できる方法はないと警鐘を鳴らしています。

なぜ重要か

今回の調査結果は、AI開発の根底にある「安価な労働力への依存」というアプローチの限界を浮き彫りにしています。

ユーザーや開発者にとって、安価なクラウドソーシングで集めたデータセットの信頼性は大きく揺らいでいます。人間が精査したはずのデータにAIの幻覚が混ざっていれば、それを基盤に開発したモデルの性能低下や予期せぬ不具合につながりかねません。

テック各社はこれまで、低単価のギグワーカーに頼ることで学習コストを抑えてきました。しかし、低報酬だからこそ作業者がAIで効率化を図るというインセンティブが働き、結果として自社モデルを汚染する自己矛盾に陥っています。

今後は、専門知識を持つ人材への正当な報酬の支払いや、人間による作業であることを証明する技術の導入が不可欠になるはずです。データの「量」を競う段階から、真に検証された「質」をどう確保するかへ、業界の優先順位は大きくシフトせざるを得ないと考えられます。

情報源 (1)

  1. [1]
    technologyreview.com(新しいタブで開きます)原文technologyreview.com

毎日のAIピックアップ