研究指责 LM Arena 偏袒巨头刷榜:私测只挑最高分公布
来自 Cohere、斯坦福等机构的研究指控知名评测平台 LM Arena 偏袒巨头,允许 Meta、OpenAI 等私下测试几十个变体且只公开最高分,甚至给予更高的对战采样率。LM Arena 否认不公指责,但表示将改进对战采样算法。
来自 Cohere、斯坦福等机构的研究指控知名评测平台 LM Arena 偏袒巨头,允许 Meta、OpenAI 等私下测试几十个变体且只公开最高分,甚至给予更高的对战采样率。LM Arena 否认不公指责,但表示将改进对战采样算法。
LMSYS 宣布 OpenAI 最新版 GPT-4o(20240808)以 1314 分重登 Chatbot Arena 榜首,反超 Google Gemini-1.5-Pro-Exp。新版在代码、高难度提示和指令遵循等子榜均拿下第一,开发者可通过 API 的 chatgpt-4o-latest 体验。