跳到正文
IFAI

大模型

Perplexity 推出新版 Sonar:每秒 1200 token,几乎即时出答复

首次发布 传播指数 56

Perplexity 发布新版自研模型 Sonar。它基于 Llama 3.3 70B 微调,由 Cerebras 提供推理支持,生成速度达每秒 1200 token。官方称其用户满意度超越 Claude 3.5 Sonnet,目前已面向 Pro 用户开放测试。

Perplexity 推出新版 Sonar:每秒 1200 token,几乎即时出答复
图:x.com

用 AI 搜索最烦的是什么?不是它找不着东西,而是你看着它像打印机一样,一个词一个词往外吐字,等得让人想关掉网页。

Perplexity 刚更新的自研模型 Sonar,就是冲着这个痛点来的。他们拿开源的 Llama 3.3 70B 做了深度微调,专攻搜索回答的准确度和排版,还把底层的推理硬件换成了 Cerebras。

这一换,直接把生成速度拉到了每秒 1200 个 token。

1200 token 每秒是什么概念

简单说,就是几乎没有等待感。你刚敲完回车,整屏答案就已经刷出来了。

官方说这个速度差不多是 Gemini 2.0 Flash 的 10 倍,更是把市面上绝大多数通用大模型远远甩在身后。对于搜索这种极其依赖即时反馈的场景来说,快就是最大的体验改善。

除了快,Perplexity 还在自家的线上做了一轮严苛的 A/B 测试。结果显示,在用户满意度上,Sonar 不仅大幅领先同尺寸的 GPT-4o mini 和 Claude 3.5 Haiku,甚至超过了口碑极好的 Claude 3.5 Sonnet,基本逼平了 GPT-4o。

而在基准测试里,考察指令遵循的 IFEval 和考察通用知识的 MMLU,Sonar 也都把同级别的对手甩在了后面。

专为「搜索整理」定制

Sonar 为什么能在 70B 的体量下达到这种效果?核心在于定向调优。

Perplexity 针对两个核心维度做了专项训练。一个是事实性,也就是怎么把搜索出来的几篇网页信息拼在一起,排除冲突和缺失信息,不瞎编事实。

另一个是可读性。以前的模型回答搜索,要么啰嗦一大堆,要么排版乱七八糟。Sonar 专门优化了 Markdown 排版和回答结构,力求用最精练的文字把重点讲清楚。

目前 Perplexity Pro 用户已经可以在设置里把 Sonar 设为默认模型。开发者也能通过 API 调用,不过官方注明,API 版本暂时还没接入 Cerebras 芯片,之后才会支持超高速推理。

为什么重要

对用户来说,如果你平时高频使用 Perplexity 查资料、写报告或抓行业新闻,现在非常值得立刻把默认模型切到 Sonar。在搜索场景下,花大价钱调用 GPT-4o 往往是性能过剩且响应迟钝的,Sonar 几乎做到了「点开就出结果」,能帮你省下大量盯着屏幕发呆的时间。

从行业来看,Perplexity 这一步走得相当清醒。他们没有硬去卷全能大基座模型的预训练,而是用开源顶流 Llama 70B 结合自身垂直场景调优,再搭配 Cerebras 这类专精推理的超算硬件,硬生生在搜索这个细分赛道上,用极低的成本和恐怖的速度打平了顶级商业闭源模型。

我们认为,这给整个应用层 AI 厂商打了个样。与其盲目等待 OpenAI 或 Anthropic 降价提速,不如把推理栈和垂直微调攥在自己手里。不过隐患也同样存在,Sonar 的强项全押在「检索并总结」上,如果遇到需要深层逻辑推理、多轮代码重构的复杂任务,70B 的底子依然比不上真正的顶流旗舰。好在对搜索产品来说,它已经把最重要的两件事做到了极致:天下武功,唯快不破,而且不胡说八道。

来源 (2)

  1. [1]
    @perplexity_ai(在新标签页打开)原文twitter.com
  2. [2]

话题追踪Perplexity Sonar 的开发与竞争

这个话题的历次新闻,最新的在上面。

  1. Search Arena 评测出炉:Perplexity Sonar 携手 Gemini 2.5 夺冠
  2. Perplexity 升级 Sonar 模型:增设三档搜索,引用 Token 全免费
  3. Perplexity 推出新版 Sonar:每秒 1200 token,几乎即时出答复本条
  4. Perplexity 推出 Sonar API:把实时联网搜索塞进开发者应用

每日 AI 内容精选