OpenAI、次世代モデル「GPT-4」を発表　画像入力対応で司法試験も上位10％

ChatGPTが自信満々に嘘をつく現象に世界が頭を抱えていた矢先、OpenAIはその上位互換となる決定打を打ち込んできました。

米OpenAIはマルチモーダル大規模言語モデル「GPT-4」を発表しました。従来のテキストに加え、新たに画像の入力に対応し、数々の専門的・学術的なベンチマークで人間レベルのスコアを記録しています。

司法試験上位10％の衝撃、低リソース言語でも圧倒

最も注目を集めたのは各種試験のスコアです。米国の模擬司法試験において、GPT-3.5の成績は下位10％前後にとどまっていましたが、GPT-4は一気に上位10％水準に達しました。試験向けの特別な学習を行っていないにもかかわらず、AP試験や各種オリンピック問題でも人間の上位層と同等の結果を残しています。

待望の画像入力機能は、写真や図表、スクリーンショットとテキストを混在させて質問できる設計です。ただし一般公開は見送られており、現在は単一のパートナー企業との研究プレビューにとどまります。テキスト機能については「ChatGPT Plus」およびAPIのウェイトリスト経由で提供が始まりました。

多言語対応の進化も際立っています。57科目を網羅するMMLUベンチマークを翻訳して検証したところ、テストした26言語中24言語において、GPT-4のスコアが従来のGPT-3.5の英語スコアを上回りました。ラトビア語やウェールズ語、スワヒリ語といったデータ量の少ない言語でも高い理解力を示しています。

インフラ面では、米Microsoft Azureと共同でスーパーコンピュータを刷新しました。学習前に性能を正確に予測できた同社初の大規模モデルとなり、学習プロセスそのものも極めて安定していたと説明されています。モデルの弱点を外部から検証できる評価基盤「OpenAI Evals」もあわせてオープンソース公開されました。

開発者向けにはシステムメッセージ機能が強化され、従来の冗長な返答スタイルを避け、役割やトーン、挙動の制限を柔軟に制御できるようになりました。

半年のアライメントでも消えない「自信満々の誤答」

安全性への配慮も大幅に強化されました。事前学習の完了後、サイバーセキュリティや生物学的リスクの専門家50人以上を招いて敵対的テストを実施し、6カ月間かけてアライメントの調整を行いました。

その結果、不適切な要求を拒否する確率はGPT-3.5に比べて82％向上し、同社内の事実性テストのスコアも40％改善しました。

それでもハルシネーション（もっともらしい嘘）は根絶されていません。知識は2021年9月時点で途切れており、依然として単純な推論ミスを起こします。さらに興味深い点として、RLHFによる事後学習を経たことで自信度の較正が崩れ、間違った答えをさも正解であるかのように自信満々に出力する傾向があることも認めています。

なぜ重要か

GPT-4の登場により、AIは実験的な対話相手から、実務に耐えうる本格的な生産性ツールへとフェーズを変えたと私たちは考えています。

一般ユーザーや開発者にとって、日常的な雑談や簡単な要約では差が分かりにくいものの、複雑な推論や高度なコーディングでは別次元の頼もしさを見せます。月額20ドルのChatGPT Plusを試す価値は十分にあるはずです。APIのシステムメッセージによって、業務特化型エージェントの構築難易度も一気に下がりました。

業界全体から見れば、競合するGoogleや新興各社への強烈な牽制となります。Azure基盤上で計算資源のスケール効果を事前予測し、安定して巨大モデルを焼き切れる工学的な再現性を示した点は、ライバルにとって高い参入障壁となります。

画像入力の一般公開を焦らず、半年かけて専門家による安全性監査を重ねた立ち回りは非常に巧みです。しかし、事実性が40％高まったからこそ、残されたハルシネーションに人間が気づきにくくなるという重大な落とし穴もあります。金融や医療などの重要領域で過信することは依然として禁物です。