研究指責 LM Arena 偏袒巨頭刷榜:私測只挑最高分公佈
來自 Cohere、斯坦福等機構的研究指控知名評測平臺 LM Arena 偏袒巨頭,允許 Meta、OpenAI 等私下測試幾十個變體且只公開最高分,甚至給予更高的對戰取樣率。LM Arena 否認不公指責,但表示將改進對戰取樣演算法。
來自 Cohere、斯坦福等機構的研究指控知名評測平臺 LM Arena 偏袒巨頭,允許 Meta、OpenAI 等私下測試幾十個變體且只公開最高分,甚至給予更高的對戰取樣率。LM Arena 否認不公指責,但表示將改進對戰取樣演算法。
LMSYS 宣佈 OpenAI 最新版 GPT-4o(20240808)以 1314 分重登 Chatbot Arena 榜首,反超 Google Gemini-1.5-Pro-Exp。新版在程式碼、高難度提示和指令遵循等子榜均拿下第一,開發者可通過 API 的 chatgpt-4o-latest 體驗。