ByteDance、OpenAIの技術を流用し独自LLM開発か　アカウント停止に

大規模言語モデルの競走において、OpenAI の出力を真似てモデルを育てる手法は、一部のスタートアップの間では公然の秘密でした。しかし、それを世界トップクラスの巨大テック企業である ByteDance が組織的に行っていたとなると、話の次元が変わってきます。

米 The Verge は 12 月 15 日、TikTok の親会社である ByteDance が、自社の競合モデルを開発・評価するために OpenAI の API を規約に違反して秘密裏に利用していたと報じました。OpenAI および利用窓口であるマイクロソフトの利用規約では、競合製品の開発にモデル出力を利用することを明確に禁じています。

報道を受けて OpenAI は、ByteDance の API アカウントを一時停止し、本格的な調査を開始したことを明らかにしました。

API 上限の突破と「データ脱色」の証拠

流出した社内文書によると、ByteDance の基盤モデル開発チーム「Project Seed」は、モデルの訓練から性能評価に至るほぼ全工程で OpenAI の API に頼り切っていました。利用頻度は極めて高く、API のアクセス上限に頻繁に達していたとされています。

社内チャットツール「Lark」では、証拠隠滅のためにデータを脱感作して出所を隠蔽する方法まで話し合われていました。内部関係者は、表向きは法令遵守を謳いながらも、実際には見つかりたくないだけだったと証言しています。

数カ月前に中国政府からチャットボット「豆包」の認可を得る前後、社内では GPT の出力を利用停止する通達が出されました。しかし関係者によると、その後も豆包の背後にある約 2000 億パラメータの独自モデルの性能評価などに API が使われ続けていたとされます。

ByteDance 側は、GPT データを利用したのは初期のアノテーション作業のみであり、今年半ばには訓練データから完全に削除したと釈明しています。また、マイクロソフト経由で正当にライセンスを取得しており、海外向け製品にのみ GPT を使用していると主張しました。

なぜ重要か

資金のない新興企業がグレーゾーンと知りつつ手を出しているのとは異なり、ByteDance ほどの資金力と技術力を持つ企業がこうした近道を選んでいたことは、業界に大きな衝撃を与えています。Project Seed チームは今年末までに GPT-3.5、来年半ばまでに GPT-4 に追いつくという厳しいノルマを課されており、その重圧が不正を招いたとみられます。

私たちは、この事態が大手プラットフォーマーの焦燥感を如実に表していると考えています。独自の基礎研究だけで OpenAI との差を急速に埋めることは極めて困難であり、納期に追われた現場が規約違反に手を染めるリスクは常に存在します。今回の規約違反とアカウント停止は、同社にとって海外での技術的な信用を大きく失墜させる打撃となります。

また、モデルが別のモデルの出力を学習し続ける近親交配は、ハルシネーション（幻覚）の増幅という深刻な技術的弊害をもたらします。OpenAI が即座にアカウント停止という厳しい措置を取ったことは、他社の出力を盗用して競合基盤を築こうとするプレイヤーに対する強い警告と言えます。