跳到正文
IFAI

大模型

Anthropic 釋出 Claude 3 系列:最強版 Opus 跑分反超同行

首次發布 傳播指數 56

Anthropic 正式推出 Claude 3 系列模型,分為 Haiku、Sonnet 與 Opus 三款。最強型號 Opus 在多項基準測試中超越競品,全系支援視覺輸入與 200K 上下文。這意味著大模型競爭進入新階段。目前 Opus 和 Sonnet 已上線,Haiku 即將推出。

Anthropic 釋出 Claude 3 系列:最強版 Opus 跑分反超同行
圖:anthropic.com

過去大半年裡,幾乎所有人都在拿自家新模型和 GPT-4 比,但能在基準測試上真正全面壓制它的,一直沒出現。

直到 3 月 4 日,Anthropic 正式端出了 Claude 3 系列。這次他們一口氣拿出三款新模型,直接按照能力梯隊排開:最小最快的叫 Haiku,中間主力叫 Sonnet,最頂格的超大杯叫 Opus。

目前 Opus 和 Sonnet 已經上線,覆蓋了 159 個國家和地區的 API 以及 claude.ai 網頁端,最小的 Haiku 隨後就來。

跑分反超,連測試是人工塞的都能看出來

釋出會最扎眼的資料都在超大杯 Opus 身上。在衡量本科級專業知識的 MMLU、研究生級推理的 GPQA 以及數學基準 GSM8K 上,Opus 的跑分全部蓋過了同臺競品,包括 GPT-4。

除了常規的文本理解,整個 Claude 3 家族這次全面補齊了視覺能力。企業使用者平時塞進去的 PDF、技術圖表、流程圖和幻燈片,它們現在都能直接看懂。

速度方面,中間檔的 Sonnet 處理速度是 Claude 2 的兩倍,適合做日常客服檢索;而主打小巧的 Haiku 更誇張,讀一篇一萬 token 且帶圖表的 arXiv 論文,耗時不到三秒。

更有意思的是大海撈針測試。在海量文件裡找隱藏句子的測試中,Opus 的召回準確率超過了 99%。

甚至在測試過程中,Opus 還指出了題目本身的破綻。它在回答時順口提到,這句話看起來像是人類為了做測試故意插在正文裡的,因為它和周圍討論的主題完全不搭界。

此外,老版本 Claude 最讓人頭疼的毛病是過於保守,動不動就因為敏感詞直接拒答。Anthropic 這次專門優化了邊界理解,無害提示詞的誤拒率大幅下降,回答的事實準確率也比 Claude 2.1 翻了一番。

初始版本支援 200k 上下文視窗,底層能力其實能吃下 100 萬 token,後續會定向開放給大算力客戶。

為什麼重要

大模型市場苦 GPT-4 獨大久矣,Opus 的出現第一次證明了,在最前沿的通用推理能力上,OpenAI 並不是不可戰勝的。

對於個人使用者和開發者來說,現在就可以直接去試試。免費網頁版預設用上了 Sonnet,響應速度和日常任務處理能力都比老版本舒服得多;開通 Pro 會員或者調 API 的話,Opus 拿來讀長篇論文、啃複雜財報和處理帶圖資料,體驗完全值得現在就換過來。

從產品設計來看,Anthropic 這次劃分為高中低三檔的做法非常聰明。之前 Claude 2 雖然能讀長文本,但速度偏慢且極其死板;現在讓 Haiku 拼極致低延遲、Sonnet 兼顧企業大吞吐量價效比、Opus 負責攻堅高難度推理,精準切中了不同業務的預算痛點。

不過隱患也顯而易見。Opus 這種體量的模型,推理成本和算力消耗註定不便宜,在持續的高併發場景下,Anthropic 能不能頂住算力壓力還得打個問號。但無論如何,這場釋出已經把壓力徹底踢回給了 OpenAI,逼著大家把下一代旗艦模型更快拿出來。

來源 (1)

  1. [1]
    anthropic.com(在新分頁開啟)原文anthropic.com

話題追蹤Anthropic Claude 3 系列

這個話題的歷次新聞,最新的在上面。

  1. Claude 3 Opus 登頂 Chatbot Arena:首次超越 GPT-4 終結一年霸榜
  2. Anthropic 釋出 Claude 3 系列:最強版 Opus 跑分反超同行本則

每日 AI 內容精選