Claude 3 Opus 登頂 Chatbot Arena：首次超越 GPT-4 終結一年霸榜

在大模型領域，過去將近一年裡一直有個心照不宣的常識：不管各家釋出會上的跑分吹得有多神，只要拉到真刀真槍的盲測榜單上，排在第一的永遠是 OpenAI 的 GPT-4。

但在週二，這個神話被打破了。Anthropic 的旗艦大模型 Claude 3 Opus 在 Chatbot Arena 盲測榜單上首次超越了 GPT-4，拿下了總榜第一。開發者 Nick Dobos 在社交媒體上發了句感慨：「國王已死，GPT-4 安息吧。」

誰更好用，全憑網友盲測的「體感」

對於不太熟悉這個榜單的人來說，Chatbot Arena 是由加州大學伯克利分校、加州大學聖地亞哥分校和卡內基梅隆大學學生及教員聯合成立的 LMSYS 組織運營的。

它的規則極其簡單粗暴：使用者輸入一段提示詞，螢幕上左右並排出現兩個匿名模型的回答。哪個回答更好全由使用者主觀評判，評完之後才會揭曉模型名稱。通過成千上萬次這樣的雙盲對決，平臺聚合計算出全網公認的勝率排名。

由於大模型在標準基準測試裡經常存在刷題和過度擬合的嫌疑，這種全憑人類主觀「體感」打出來的分數，反倒成了業內最看重的一塊試金石。

從 2023 年 5 月 GPT-4 進駐 Chatbot Arena 以來，榜首的位置就沒換過人。直到這次，Claude 3 Opus 終於在勝率上完成了反超。除了頂配的 Opus，Anthropic 旗下主打輕量高性價比的小模型 Haiku，在榜單上的表現也同樣搶眼。

獨立 AI 研究員 Simon Willison 指出，這是業內第一次看到最好的模型來自 OpenAI 以外的廠商，做複雜任務有 Opus，講求成本和效率有 Haiku。但他同時也提醒了一句：GPT-4 已經發布超過一年了，其他人花了一整年才追上來。

為什麼重要

對於日常依賴 AI 的使用者和開發者來說，這意味著打破 OpenAI 路徑依賴的時機已經成熟。我們認為，Claude 3 無論是在長文本理解、複雜指令遵循，還是在程式碼編寫的細膩程度上，目前都完全擔得起主力的角色，許多人甚至已經把日常主力工作流從 ChatGPT 遷到了 Claude。

對整個行業而言，這次易主就像是推倒了一張關鍵多米諾骨牌。過去一年，OpenAI 的統治地位讓它擁有絕對的定價權和節奏控制權；而現在，競爭對手不僅在產品力上趕平，背後的彈藥也極其充足，比如亞馬遜剛剛又向 Anthropic 追加了 27.5 億美元投資。

不過，看起來 Anthropic 的王座坐得並不會太安穩。Claude 3 的這次勝利，很大程度上是因為打中了一個時間差：它擊敗的是已經發布一整年的 GPT-4，而不是完全體的新一代基座。

隨著谷歌的追趕和開源陣營的逼近，行業焦距已經徹底轉移到了 OpenAI 身上。外界普遍預計 OpenAI 會在今年拿出 GPT-4 的真正繼任者，如果下一代模型再次拉開代差，這種短暫的反超就只是一次中場休息；但至少在當下，大模型市場終於告別了一家獨大的沉悶時代。