スタンフォード大などの調査：GPT-4の挙動が数カ月で大きく変化、数学の精度低下も

「GPT-4が以前より賢くなくなったのではないか」という利用者の不満に対し、OpenAIは否定を続けてきましたが、研究者が具体的な検証データを提示しました。

スタンフォード大学とUCバークレーの研究チームは、2023年3月版と6月版のGPT-3.5およびGPT-4をAPI経由でテストしました。数学問題、コード生成、センシティブな質問など多岐にわたる項目を評価したところ、わずか数カ月でモデルの挙動が大きく漂移している実態が明らかになりました。

素数判定の急落とコードの書式崩れ

最も顕著な変化が現れたのは数学テストでした。素数と合成数の判定タスクにおいて、GPT-4の正答率は3月版の84パーセントから6月版では51パーセントへと急落しました。Ars Technicaの報道によると、特定のデータセットでは97.6パーセントからわずか2.4パーセントに激減した例もあったといいます。

研究チームは、GPT-4が思考の連鎖（Chain of Thought）プロンプトに素直に従わなくなったことが一因だと分析しています。指示に正しく従う能力の低下が、多くのタスクでの性能変化を引き起こしていました。

コード生成でも、3月版と比べて6月版はGPT-4とGPT-3.5の双方便で書式上のエラーが増加しました。また、倫理的にセンシティブな質問や世論調査に対しては、GPT-4は回答を拒否する傾向が強くなりました。

興味深いことに、変化の方向はモデルごとに食い違っています。多段階推論タスクではGPT-4の成績が上がりGPT-3.5が下がる一方で、素数判定ではGPT-3.5の6月版が3月版を大きく上回る逆転劇も見られました。

開発元の反論と専門家による検証への疑問

この結果を受け、ネット上ではGPUリソースを削減するためのモデル蒸留や、過度な安全性調整が原因ではないかという推測が再燃しました。

これに対し、OpenAIのプロダクト担当バイスプレジデントであるPeter Welinder氏は、モデルを意図的に劣化させた事実はないと否定しました。同氏は、利用頻度が高まるにつれて以前は気づかなかった欠陥が目につくようになっただけではないかとの見解を示しています。

プリンストン大学のArvind Narayanan教授も、論文の評価手法に慎重な見方を示しました。コード生成テストがロジックの正しさではなく即座に実行できる書式かどうかを測定していた点などを挙げ、モデル自体の知能低下というよりファインチューニングの副作用による挙動変化に過ぎない可能性を指摘しています。

なぜ重要か

APIを自社のプロダクトや業務フローに組み込んでいる開発者にとって、この挙動の変化は直接的なリスクです。プロンプトをどれほど入念に作り込んでも、ベンダー側の非公開な調整ひとつで突然出力が崩れる危険性があるからです。

業界全体にとっても、ブラックボックス型クラウドモデルの脆さが浮き彫りになりました。モデル提供各社はLLMをインフラとして売り込もうとしていますが、運用の実態は予告なしに変更が加わる一般的なウェブサービスと変わりません。

この論文が投げかけた最大の価値は、知能低下の白黒をつけること以上に、モデル更新の不透明さを可視化した点にあります。ベンダーが厳格な変更履歴やバージョン固定を提供しない限り、企業が自社の重要業務を商用LLMに完全に委ねるのは時期尚早と言えます。