ChatGPTは冬にサボる？GPT-4が12月に回答を短縮する傾向が確認

年末になるとAIも休暇気分になるのでしょうか。ChatGPTが最近「怠けている」というユーザーの声が広がる中、開発者のRob Lynch氏が統計的な検証を行い、ウォートン校のEthan Mollick教授が「AI冬休み仮説は本当かもしれない」と取り上げて話題になっています。

システムプロンプトの日付で出力長に有意差

Lynch氏はgpt-4-turboのAPIを用い、外部ライブラリを使わずに機械学習タスクを実装するという同一のコード補完プロンプトを実行しました。

唯一変更したのは、システムプロンプトに含まれる日付情報です。一方には「5月」、もう一方には「12月」と指定しました。

それぞれ477回ずつ出力を収集して比較したところ、5月設定の平均出力長が4298だったのに対し、12月設定は4086にとどまりました。t検定のp値は2.28e-07を下回り、統計的に極めて有意な差が確認されました。

なぜ重要か

もし最近GPT-4の回答が簡略化されがちだと感じるなら、システムプロンプトで日付を5月などに書き換えてみる実用的な価値があります。

一方で、この現象は大規模言語モデルの予測困難な挙動を浮き彫りにしています。膨大な人間が作成したデータから学習した結果、12月の休暇シーズン前には仕事の手を抜くという、人間の行動パターンまで反映してしまっているように見えます。

私たちは、この結果がプロダクト開発者にとって重要な注意点になると考えます。現在時刻を動的にシステムプロンプトへ組み込んでいるシステムは数多く存在しますが、何気なく渡した日付メタデータが、意図せずAIのアウトプットを劣化させているリスクを示唆しているからです。