跳到正文
IFAI

开源项目

Perplexity 开源两款决策模型:百万 token 仅 1 美分,推理快 5 倍

首次发布 传播指数 51

Perplexity 开源多模态决策模型 pplx-decider-flash-v1.2(4B)与 pplx-decider-v1.2(27B),每百万 token 定价分别仅 1 美分和 2 美分。新模型单次请求可跑通所有问题,推理提速最高达 5 倍,且已在 Hugging Face 开源权重并上线 API。

Perplexity 开源两款决策模型:百万 token 仅 1 美分,推理快 5 倍
图:x.com

Perplexity 开源了两款多模态决策模型 pplx-decider-flash-v1.2 与 pplx-decider-v1.2,主打极低成本与高吞吐的判断任务。

两款模型参数量分别为 4B 和 27B,开放了模型权重,同时上线了 Perplexity Decisions API。API 的调用价格分别定在每百万 token 1 美分和 2 美分。CEO Aravind Srinivas 表示,团队后续还打算通过输入缓存和服务端优化进一步压低调用成本。

速度翻倍与榜单表现

新版本提升了文本和视觉两方面的评分,最明显的变化在推理架构上。它能在一个 pass 内跑完单次请求里的所有问题,推理速度最高提升了 5 倍。

在 Hugging Face 的 Decision Index 评测榜上,4B 参数的 flash 版本拿下了 4B 量级的第一名,27B 版本则排在全榜总榜第二。如果你想本地运行,权重可以直接在 Hugging Face 下载;不想折腾部署的开发者,也可以直接调用官方 API。

为什么重要

对正在搭建 AI Agent 或复杂自动化工作流的开发者来说,这两款模型很值得一试。决策路由类的任务往往调用频次极高,每百万 token 仅 1 到 2 美分的价格加上单次全跑通的吞吐能力,能把系统整体的延迟和账单成本压到几乎可以忽略的水平。

我们认为,Perplexity 将用于底层调度的高效小模型开源并极限定价,走了一步很实在的棋。它不仅降低了多模态决策任务的试错门槛,也让开源端侧和边缘部署在轻量决策场景里多了一个性价比极具竞争力的现成选项。

来源 (1)

  1. [1]
    x.com(在新标签页打开)原文x.com

每日 AI 内容精选