本文へスキップ
IFAI

AIモデル

GPT-4o最新版がLMSYSで首位奪還:Geminiを逆転、コーディング性能が大幅向上

公開 拡散指数 51

LMSYSはOpenAIの最新版GPT-4o(20240808)がChatbot Arenaで1314点を獲得し総合1位に返り咲いたと発表した。GoogleのGemini-1.5-Pro-Expを抜き、コーディングや難問プロンプトでもトップを記録。APIではchatgpt-4o-latestとして利用できる。

GPT-4o最新版がLMSYSで首位奪還:Geminiを逆転、コーディング性能が大幅向上
画像:x.com

生成AIの王座争奪戦が、また一歩動きました。

LMSYSはOpenAIの最新版「ChatGPT-4o(20240808)」が、コミュニティによる1万1000件以上のブラインド投票を経て、スコア1314でChatbot Arenaの総合首位に返り咲いたと発表しました。これにより、首位に立っていたGoogleの「Gemini-1.5-Pro-Exp」を再び抜き去りました。

コーディング性能が大幅向上、APIも即時提供

今回の新版は技術的な処理能力が大きく伸びています。特にコーディング分野では、5月13日版のGPT-4oと比べて30ポイント以上のスコア向上を記録しました。

詳細ランキングでも、難問プロンプト、指示追従、長文クエリ、マルチターン会話の各部門で単独1位を獲得し、数学でも1〜2位につけています。

OpenAIは本モデルをAPI向けに「chatgpt-4o-latest」として提供開始しました。一般的な本番環境向けには「gpt-4o-2024-08-06」の利用を推奨しつつ、最新の対話性能をテストしたい開発者向けに開放した形です。

なぜ重要か

トップモデル同士の首位争いは、すでに数日単位の攻防戦になっています。Googleが実験版Geminiでトップを奪った直後、OpenAIがマイナーアップデートで即座に奪還するスピード感は見事です。

安定運用の固定版とは別に、最新の性能を試せる「latest」エンドポイントを用意した判断はスマートだと考えられます。コード生成や複雑なプロンプト処理を日常的に使っている開発者なら、この30ポイントの向上が実際の開発でどこまで体感できるか、今すぐ試してみる価値があります。

情報源 (1)

  1. [1]
    @lmsysorg(新しいタブで開きます)原文x.com

トピックを追うOpenAI GPT-4o モデルのアップデート

このトピックのニュース。新しい順です。

  1. OpenAIがGPT-4oをひっそり更新 首位奪還も「どこが良くなったか説明が難しい」
  2. GPT-4o最新版がLMSYSで首位奪還:Geminiを逆転、コーディング性能が大幅向上この記事
  3. OpenAIがGPT-4oを密かに更新:出力トークン数が4倍に拡大

毎日のAIピックアップ