LM Arenaに大手優遇の不正疑惑：非公開テストで高スコア選抜か
Cohereやスタンフォード大学などの研究チームは、AIベンチマーク「LM Arena」が大手企業を優遇していると告発する論文を発表しました。MetaやOpenAIなどが非公開で多数のモデルをテストし最高スコアのみを公開できたほか、対戦のサンプリング率でも優遇されていたと指摘されています。LM Arena側は疑惑を否定しつつ、アルゴリズムの改定を表明しました。
Chatbot Arena
GPT-4o最新版がLMSYSで首位奪還：Geminiを逆転、コーディング性能が大幅向上
LMSYSはOpenAIの最新版GPT-4o（20240808）がChatbot Arenaで1314点を獲得し総合1位に返り咲いたと発表した。GoogleのGemini-1.5-Pro-Expを抜き、コーディングや難問プロンプトでもトップを記録。APIではchatgpt-4o-latestとして利用できる。