跳到正文
IFAI

大模型

Perplexity 推出新版 Sonar:每秒 1200 token,幾乎即時出答覆

首次發布 傳播指數 56

Perplexity 釋出新版自研模型 Sonar。它基於 Llama 3.3 70B 微調,由 Cerebras 提供推理支援,生成速度達每秒 1200 token。官方稱其使用者滿意度超越 Claude 3.5 Sonnet,目前已面向 Pro 使用者開放測試。

Perplexity 推出新版 Sonar:每秒 1200 token,幾乎即時出答覆
圖:x.com

用 AI 搜尋最煩的是什麼?不是它找不著東西,而是你看著它像印表機一樣,一個詞一個詞往外吐字,等得讓人想關掉網頁。

Perplexity 剛更新的自研模型 Sonar,就是衝著這個痛點來的。他們拿開源的 Llama 3.3 70B 做了深度微調,專攻搜尋回答的準確度和排版,還把底層的推理硬體換成了 Cerebras。

這一換,直接把生成速度拉到了每秒 1200 個 token。

1200 token 每秒是什麼概念

簡單說,就是幾乎沒有等待感。你剛敲完回車,整屏答案就已經刷出來了。

官方說這個速度差不多是 Gemini 2.0 Flash 的 10 倍,更是把市面上絕大多數通用大模型遠遠甩在身後。對於搜尋這種極其依賴即時反饋的場景來說,快就是最大的體驗改善。

除了快,Perplexity 還在自家的線上做了一輪嚴苛的 A/B 測試。結果顯示,在使用者滿意度上,Sonar 不僅大幅領先同尺寸的 GPT-4o mini 和 Claude 3.5 Haiku,甚至超過了口碑極好的 Claude 3.5 Sonnet,基本逼平了 GPT-4o。

而在基準測試裡,考察指令遵循的 IFEval 和考察通用知識的 MMLU,Sonar 也都把同級別的對手甩在了後面。

專為「搜尋整理」定製

Sonar 為什麼能在 70B 的體量下達到這種效果?核心在於定向調優。

Perplexity 針對兩個核心維度做了專項訓練。一個是事實性,也就是怎麼把搜尋出來的幾篇網頁資訊拼在一起,排除衝突和缺失資訊,不瞎編事實。

另一個是可讀性。以前的模型回答搜尋,要麼囉嗦一大堆,要麼排版亂七八糟。Sonar 專門優化了 Markdown 排版和回答結構,力求用最精練的文字把重點講清楚。

目前 Perplexity Pro 使用者已經可以在設定裡把 Sonar 設為預設模型。開發者也能通過 API 呼叫,不過官方註明,API 版本暫時還沒接入 Cerebras 晶片,之後才會支援超高速推理。

為什麼重要

對使用者來說,如果你平時高頻使用 Perplexity 查資料、寫報告或抓行業新聞,現在非常值得立刻把預設模型切到 Sonar。在搜尋場景下,花大價錢呼叫 GPT-4o 往往是效能過剩且響應遲鈍的,Sonar 幾乎做到了「點開就出結果」,能幫你省下大量盯著螢幕發呆的時間。

從行業來看,Perplexity 這一步走得相當清醒。他們沒有硬去卷全能大基座模型的預訓練,而是用開源頂流 Llama 70B 結合自身垂直場景調優,再搭配 Cerebras 這類專精推理的超算硬體,硬生生在搜尋這個細分賽道上,用極低的成本和恐怖的速度打平了頂級商業閉源模型。

我們認為,這給整個應用層 AI 廠商打了個樣。與其盲目等待 OpenAI 或 Anthropic 降價提速,不如把推理棧和垂直微調攥在自己手裡。不過隱患也同樣存在,Sonar 的強項全押在「檢索並總結」上,如果遇到需要深層邏輯推理、多輪程式碼重構的複雜任務,70B 的底子依然比不上真正的頂流旗艦。好在對搜尋產品來說,它已經把最重要的兩件事做到了極致:天下武功,唯快不破,而且不胡說八道。

來源 (2)

  1. [1]
    @perplexity_ai(在新分頁開啟)原文twitter.com
  2. [2]

話題追蹤Perplexity Sonar 的開發與競爭

這個話題的歷次新聞,最新的在上面。

  1. Search Arena 評測出爐:Perplexity Sonar 攜手 Gemini 2.5 奪冠
  2. Perplexity 升級 Sonar 模型:增設三檔搜尋,引用 Token 全免費
  3. Perplexity 推出新版 Sonar:每秒 1200 token,幾乎即時出答覆本則
  4. Perplexity 推出 Sonar API:把即時聯網搜尋塞進開發者應用

每日 AI 內容精選