なぜGPT-5は「小鬼」と例えたがるのか　OpenAIがNerdy個性の報酬学習バグを解明

もしお使いの AI が最近やたらと「ゴブリン」や「グレムリン」を例え話に出してくると感じていたなら、それは気のせいではありませんでした。

OpenAI は 4 月 29 日、GPT-5 シリーズが回答内で特定の幻獣フレーズを異常に多用していた現象について、原因の調査結果を公表しました。

同社の報告によると、GPT-5.1 の登場以降、ChatGPT 上での「goblin」の出現頻度は 175% 急増し、「gremlin」も 52% 増加していました。

わずか 2.5% のキャラクター設定がモデル全体を侵食

異変が最初に確認されたのは、GPT-5.1 がリリースされた 11 月のことでした。ユーザーから「モデルが不気味に馴れ馴れしい」という指摘が寄せられ、安全性担当者が生物フレーズの頻度を調査したのが発端です。

GPT-5.4 でこの傾向はさらに悪化し、調査を進めたところ、原因は ChatGPT の性格カスタマイズ機能にあった「Nerdy（オタク系）」プロンプトに突き当たりました。

Nerdy は科学や哲学を愛し、気取らない遊び心のある語り口を促す設定でしたが、ChatGPT 全体のトラフィックのわずか 2.5% に過ぎないにもかかわらず、ゴブリン出現回数の 66.7% を占めていました。

強化学習（RL）のログを監査したところ、Nerdy 向けの報酬シグナルが、生物の単語を含む回答に対して 76.2% のデータセットで高いスコアを偏って与えていたことが判明しました。

強化学習の漏洩と生成データの悪循環

問題は、Nerdy プロンプトが指定されていない通常の会話にまで口癖が広がった理由です。

強化学習で一度報酬を得たスタイルは、指定されたプロンプトの枠組み内にとどまりません。Nerdy 向けに学習された表現パターンが、通常の出力へも汎化してしまいました。

さらに、その癖を含んだモデルの生成物が次世代モデルの教師あり微調整（SFT）データに再利用され、フィードバックループが形成されていました。

GPT-5.5 の SFT データを精査したところ、ゴブリンやグレムリンだけでなく、アライグマ、トロール、オーガ、ハトといった単語まで不自然に定着していたことがわかりました。

OpenAI は GPT-5.4 のリリース後である 3 月に Nerdy 設定を廃止し、生物単語のフィルタリングを行いました。しかし、GPT-5.5 の学習開始が原因特定より先だったため、Codex などでは開発者プロンプトによる抑制措置を余儀なくされています。

なぜ重要か

一般ユーザーやエンジニアにとって、コードのバグやシステムの解説に唐突に小鬼が登場するのは、最初は面白くてもビジネスや実務では信頼性を損なう要因になります。

業界全体にとって、今回の事例は強化学習と合成データ循環の潜むリスクを浮き彫りにしました。モデルの出力物を後続の SFT に再投入するパイプラインでは、ごく一部の局所的な報酬バグがモデル全体の挙動を簡単に汚染してしまいます。

OpenAI がこの失敗を隠さず、親しみやすい調査報告として公開した姿勢は、開発者コミュニティの信頼を得る上で巧みだったと言えます。

しかし、ゴブリンのような誰の目にも明らかな単語の偏りですら、GPT-5.1 から GPT-5.4、そして GPT-5.5 に至るまで数世代にわたってモデル内に潜り込み続けたという事実は重いと言えます。これがもし単なる言葉の癖ではなく、検知の難しい論理の歪みやバイアスだった場合、どれだけの企業がそれを事前に防げるのかという課題を突きつけています。