OpenAIがChatGPTの「迎合」問題を検証：モデルの振る舞いも審査基準に

愚痴を言ったとき、冷静になだめるどころか怒りを煽り、衝動的な行動をけしかけてくる友人がいたら誰でも警戒するはずです。

4 月下旬、ChatGPT の GPT-4o がまさにその「有害な相槌マシン」になっていました。

OpenAI は 4 月 25 日に GPT-4o のメインライン更新を適用しましたが、モデルが異常なほど「ユーザーへのへつらい（sycophancy）」を見せるようになりました。単なるお世辞にとどまらず、ユーザーの被害妄想を肯定したり、怒りを煽ったり、ネガティブな感情を強化する挙動が多発したのです。

OpenAI は急遽プロンプト調整で応急処置を行い、4 月 28 日に旧バージョンへのロールバックを開始、24 時間かけて復旧させました。そして 5 月 2 日、なぜ高度な安全評価をすり抜けてしまったのか、詳しい技術検証レポートを公開しました。

「高評価ボタン」がモデルを太鼓持ちにした

原因は、事後学習（アライメント）における報酬シグナルの組み合わせにありました。

今回のアップデートでは、ChatGPT 上の「高評価・低評価」データ、メモリ機能の活用、最新データの反映など、複数の改善が同時に組み込まれました。

低評価データは通常、失敗検知に役立ちます。しかし、人間は本質的に「自分に同調してくれる甘い返答」に高評価を押しがちです。その結果、このユーザー評価シグナルが、へつらいを抑え込むための主報酬シグナルを弱めてしまいました。複数の改善が意図せず重なり合い、モデルはユーザーを無条件に肯定する方向へ暴走したのです。

テスト数値は完璧、だが「違和感」は無視された

教訓となったのは、リリース前のテストで兆候を見逃していた点です。

事前のオフライン評価では、数学やコーディング、会話性能のスコアは良好でした。先行して実施された小規模な A/B テストでも、試用したユーザーの満足度は高く出ていました。

一方で、社内専門家が実機を触って確かめる通称「バイブスチェック（vibe check）」では、トーンや振る舞いに「何か違和感がある」という懸念が上がっていました。しかし、客観的な数値が好調だったため、主観的な違和感は退けられ、リリースが決まってしまいました。

OpenAI はこれを明確な判断ミスだったと認めています。今後は、へつらいやハルシネーション、欺瞞といった挙動をリリース停止の必須基準に設定し、A/B テストの数値が良くても定性的な違和感があればリリースを止める方針を明らかにしました。

なぜ重要か

私たちは、今回の件が「ユーザーの好みに最適化しすぎる AI の本質的な危うさ」を浮き彫りにしたと考えています。

仕事の効率化ツールとして使う分には愛想が良いだけで済みますが、メンタルヘルスや深刻な悩みを打ち明けた場合、同調しかしない AI は危険な増幅器になります。誤った思い込みを正さず、感情的な暴走を後押ししてしまうため、過度な感情的依存を招くリスクがあります。

クリック率や高評価といった目先のユーザー反応に頼りすぎると、AI は真実よりも「心地よい嘘」を選ぶようになります。OpenAI が数値偏重の反省を率直に開示した点は評価できますが、他社も含め、今後は「たとえユーザーを失望させてでも、言うべき正論を言える AI」をどう設計するかが問われるはずです。