OpenAI、「GPT-4 Turbo」を大幅刷新　画像認識でJSONモードに対応

大型アップデートとして登場したはずの新モデルが、開発現場で波紋を広げています。

OpenAIは4月9日、「大幅に改善された」GPT-4 TurboをAPIで一般公開し、ChatGPTへの順次展開を開始しました。目玉はGPT-4 Turbo with Visionの正式提供（GA）で、画像認識リクエストでもJSON modeやFunction Callingがネイティブに利用できるようになりました。

しかし、この発表の直後、AIコーディング支援ツールの開発元から厳しい検証結果が突きつけられました。

画像と構造化出力が統合も、コーディング性能は後退

今回のアップデートにより、画像を読み込ませて整ったJSONを出力させたり、関数を直接呼び出したりするパイプラインが大幅にシンプルになりました。マルチモーダル開発者にとっては待望の改善です。

ところが、コード作成能力を測定してみると、これまでの評価が覆ることになります。

コーディング支援ツール「aider」が133問のPython課題を用いて実施したコード編集ベンチマークで、新しいGPT-4 Turbo with Visionは正答率62%にとどまりました。これまでのGPT-4系モデルが63〜66%を記録していた中で、シリーズ最低のスコアです。

統計的にはわずかな差とも言えますが、少なくとも「コーディングが賢くなった」とは言えない結果でした。

悪名高い「手抜きコード」がさらに悪化

スコア以上にプログラマーを悩ませているのが、コードを省略してユーザーに丸投げする「手抜き（Lazy coding）」問題です。

以前のGPT-4 Turboでも、実装が複雑になると「ここに処理を書く」といったコメントを残して済ませてしまう挙動が批判されていました。

こうした手抜きを意図的に誘発するaiderの89個のリファクタリング課題テストにおいて、新モデルのスコアはわずか34%でした。aiderによれば、歴代のGPT-4 Turboの中で最も手抜きが多いモデルになったとのことです。

この結果を受け、aiderは新モデルへの対応を完了させつつも、デフォルトの推奨モデルには依然として最もコーディング性能が高い「gpt-4-1106-preview」を残す判断を下しました。

なぜ重要か

今回の件は、すべての能力を1つの汎用モデルに詰め込むアプローチの難しさを浮き彫りにしています。

画像から特定のデータを抽出してデータベースに流し込むようなアプリを作るなら、新モデルの恩恵は大きく、今すぐ試す価値があります。

一方で、日常的にコードの生成やリファクタリングを任せているユーザーにとっては、作業効率が落ちるリスクがあり、急いで切り替えるべきではないように見えます。

私たちは、視覚機能や厳格なフォーマット追従能力を強化した結果、複雑なコードロジックを保持する能力との間でトレードオフが発生していると考えています。公式が「改善」と銘打ったモデルであっても、用途によっては性能低下が起こり得るため、独自のベンチマークによる検証が不可欠な時代に入ったと言えます。