OpenAIがGPT-4oをひっそり更新　首位奪還も「どこが良くなったか説明が難しい」

AI企業が新モデルを投入する際は、ベンチマークスコアを並べて改善点をアピールするのが通例です。しかし今回OpenAIが実施したアップデートは、少々勝手が違いました。

8月14日の報道によると、OpenAIはChatGPTおよびAPIにおいてGPT-4oの更新版を展開しました。このモデルは評価サイトChatbot Arenaですぐさま首位を奪還し、最大出力トークン数も16,384へと大幅に引き上げられました。しかし公式自身、具体的にどこがどう良くなったのかを細かく説明しきれていません。

飛び交う推測と「説明が難しい」という本音

公式発表の前から、ユーザーコミュニティでは挙動の変化が話題になっていました。リクエストの処理能力が向上したという声や、マルチステップ推論が導入されたのではないかという推測がSNS上で広がった形です。

あるXユーザーは、複雑な問題を段階的に解く新しい推論手法が使われていると投稿しました。しかしOpenAIの広報担当者は取材に対し、マルチステップ推論に関する推測は的を射ていないと否定しています。

その後、火曜日に公開された公式リリースノートで、このモデルはchatgpt-4o-latestとして整理されました。先週Microsoft Azure向けに提供されたgpt-4o-2024-08-06とは別系統の扱いです。

リリースノートの中でOpenAIは、定性的なフィードバックや実験結果に基づきユーザーが好む挙動へ更新したと述べるにとどまりました。さらに、モデルの振る舞いの変化を細かくベンチマーク化して説明すること自体が未解決の研究分野であると率直に認めています。良質なデータを追加し不要なデータを取り除くという地道な調整の積み重ねが、今回の更新の実態でした。

首位奪還と出力上限の4倍拡張

理屈の説明は曖昧なままでしたが、実際の評価結果は強烈でした。

モデル同士をブラインド比較するChatbot Arenaにおいて、このモデルはanonymous-chatbot名義で先行テストされていました。1万1000件以上のコミュニティ投票を経て1315点を記録し、GoogleのGemini 1.5から総合首位の座を奪回しています。特にコーディングや指示追従、難易度の高いプロンプトでの改善が目立ちました。

仕様面での大きな進化は出力トークン数です。コンテキスト長は128,000トークン、学習データ期限は2023年10月のままですが、最大出力トークンは従来の4,096から16,384へと一気に4倍に拡大しました。これはGPT-4o-miniと同じ水準です。

なぜ重要か

一般ユーザーや開発者にとって、このアップデートは追加料金も設定変更も不要な恩恵です。ChatGPTのWeb版やアプリ、APIを開けばすでに反映されており、特に出力上限が16,384トークンに伸びたことで長文コードの生成や長大なドキュメント作成での中断が劇的に減ります。すぐに試す価値は十分にあります。

一方で業界全体に目を向けると、AIの評価基準が限界に達しつつある現状を浮き彫りにしています。

従来の静的なテストでは測定できない「人間の好む自然な受け答え」を追求した結果、開発元であるOpenAI自身すら挙動差分を定量化できなくなっています。ブラインドテストの投票を頼りに首位を維持する手法は巧みですが、業務システムに組み込む側から見れば、予告なく挙動のニュアンスが変わるブラックボックス化のリスクを孕んでいるとも言えます。