跳到正文
IFAI

大模型

Anthropic 釋出 Claude 3 Haiku:每秒讀 30 頁,成本僅為同類一半

首次發布 傳播指數 58

Anthropic 推出 Claude 3 Haiku,主打高速與極低成本。其針對 32K 以下提示詞的處理速度達每秒 2.1 萬 token(約 30 頁),比同類模型快 3 倍,企業分析長文件成本減半,花 1 美元就能處理 400 起訴訟案或 2500 張圖片。目前已上線 API 與 Claude Pro。

很多時候,大家都在追著大模型的智商天花板跑,但真到了實際業務場景,賬單和延遲才是天天懸在頭上的刀。

Anthropic 正式推出了 Claude 3 系列裡的最後一塊拼圖:Claude 3 Haiku。它是家族裡體型最小的一個,也是跑得最快、最便宜的一個。現在它已經和 Sonnet、Opus 一起上線了 Claude API,Claude Pro 訂閱使用者也能直接在網頁端用上。

一秒讀完三十頁,一美元看四百個案件

對大部分要做日常客服、大規模文件處理的企業來說,模型再聰明,如果吐字慢吞吞,使用者早就關掉視窗了。

Anthropic 宣稱,在絕大多數工作負載下,Haiku 的處理速度是同類競爭對手的三倍。如果提示詞在 32K token 以內,它每秒能吞吐 2.1 萬個 token,差不多等於一秒鐘啃完 30 頁紙。這意味著在多工並行或者互動式客服這類要求秒回的場景裡,它幾乎不會卡頓。

算力賬單上也切得很準。企業日常用大模型,通常是塞進去一大堆背景資料,然後讓模型輸出短短幾句總結,也就是輸入遠多於輸出。

為此,Haiku 採用了 1 比 5 的輸入與輸出定價設計。Anthropic 算了一筆賬:在同等效能表現的模型裡,Haiku 的使用成本直接砍掉了一半。花上一美元,你可以讓它分析 400 個美國最高法院的判決案件,或者解析 2500 張圖片。

企業級防護與多平臺落地

便宜歸便宜,Anthropic 沒有在企業看重的安全防護上縮水。

為了防範越獄和有害內容輸出,官方對 Haiku 進行了嚴格的安全性測試,並在系統層加入了持續監控、端點加固和強資料加密等機制。他們還找了滲透測試團隊做定期審計,把漏洞提前堵上。

渠道方面,除了自家 API 和 Claude Pro,Haiku 已經同步上架了 Amazon Bedrock,後續還會接入 Google Cloud 的 Vertex AI。

為什麼重要

我們認為,Haiku 的出現補齊了 Anthropic 商業閉環裡最務實的一環。

之前大家關注 Claude 3,多半是盯著大殺四方的 Opus,但對真正掏錢的開發者和企業而言,Opus 成本太高,不適合鋪量。現在有了 Haiku,開發者可以用它來做日誌清洗、分類打標、高併發客服或者海量圖片識別,既有出色的多模態能力,成本還低得嚇人。如果你正在為跑批處理的高昂 Token 賬單頭疼,現在很值得換上 Haiku 試一試。

從行業競爭來看,這無疑是在直接敲打 GPT-3.5 Turbo 和各類開源輕量模型。以前 Anthropic 常被貼上偏學術、偏防守的標籤,但 Haiku 這種直奔速度和極致價效比的產品策略,表明它要在企業日常流量的底座市場裡硬碰硬搶份額。

不過看起來潛在的考量也在於,輕量模型在極端複雜推理上天然受限。企業在架構設計時,還是得老老實實做路由,把簡單的粗活分流給 Haiku,把高難度的燒腦問題交給 Opus 或 Sonnet,才能真正把成本和效果平衡好。

來源 (2)

  1. [1]
    venturebeat.com(在新分頁開啟)原文venturebeat.com
  2. [2]
    anthropic.com(在新分頁開啟)報導anthropic.com

每日 AI 內容精選