#Arena Hard

0:08業界動向拡散指数 42

LM Arenaに大手優遇の不正疑惑：非公開テストで高スコア選抜か

Cohereやスタンフォード大学などの研究チームは、AIベンチマーク「LM Arena」が大手企業を優遇していると告発する論文を発表しました。MetaやOpenAIなどが非公開で多数のモデルをテストし最高スコアのみを公開できたほか、対戦のサンプリング率でも優遇されていたと指摘されています。LM Arena側は疑惑を否定しつつ、アルゴリズムの改定を表明しました。