Levanto 推出 Sage2：支持流式决策，提取成本降低 166 倍

如果你做过 AI 客服或者自动化 Agent，大概率踩过这个坑：用户聊着聊着突然改了口，上一秒还在嚷着退款，下一秒又改成了换尺码。

在传统架构里，为了搞清楚用户到底想干嘛，你的后端往往得把整段聊天记录打包，一次次丢给大模型重新做意图判断和字段抽取。不仅延迟肉眼可见，账单也会蹭蹭往上涨。

Levanto 正式推出 Sage2，专门给这类需要实时处理人类语言的软件提供了两套底层构件：结构化提取与流式决策。

边聊边下判断，不用每次重传聊天记录

Sage2 最亮眼的一点在于它的 Streaming API。它通过 WebSocket 建立连接，单个会话支持最多 32 个判断问题以及 16384 token 的上下文。

在会话里，开发者可以预设一系列是否题，比如用户是否已经明确接受了报价并要求出单。只要用户还没答应，系统的状态就保持在否定。

关键在于，Sage2 服务端会自己累积对话上下文。前端每次只需把新收到的文本碎块往里追加，模型就会实时更新当前判断，完全不需要你每次都把几千 token 的历史记录重发一遍。

根据官方披露的数据，在持续增长的上下文场景中，这种流式语义决策的速度比以往快了 3 倍。

提取成本砍到 Opus 5.5 的一百六十六分之一

除了流式决策，Sage2 的另一大杀手锏是信息提取。

用户随口说一句我想买台月供不超过 450 美元的中型 SUV，Sage2 就能把车型、预算金额和贷款期限等类型化数据直接挖出来。如果用户没提还款期，字段就返回空值；一旦后面补充了 60 期，它马上解析成标准的 ISO 8601 时长格式。

官方表示，这项提取能力不仅支持文本、数字、货币、日期和时间，还会返回置信度概率以及对应原文的位置。在性能上，官方称其超越了 Cloudflare 的 Clairic，而提取成本只有 Claude Opus 5.5 的一百六十六分之一。

目前 Sage2 还同步推出了针对推理、网页检索以及视觉的测试版功能。除了直接通过现有 API 密钥调用，新用户还可以获得 2000 万免费 token，并能在 NEAR AI 以及支持 Stripe 和 Tempo 的 MPP 支付环境里调用。

为什么重要

我们认为，Sage2 代表了一种非常清醒的工程路线：别什么事都丢给昂贵又迟缓的通用前沿大模型去扛。

在很多生产级 Agent 工作流中，最频繁的动作其实是状态机轮询、参数提取和分支路由。让 Opus 级别的大模型每一轮都做这种简单判断，既是对算力的巨大浪费，也是拖慢应用响应速度的元凶。

Sage2 把状态判断做成持续增量流式处理，并在提取端把价格打骨折，对开发高频实时客服、智能问答以及自动化表单填写的团队来说，几乎是立竿见影的减负。哪怕只是作为大模型前置的路由层，它也能帮你省下大笔开销。

不过这也对开发者的架构设计提出了要求。流式决策虽然快，但它本质上依赖对业务状态的清晰拆解；如果你的业务逻辑本身定义不清，预设的 32 个问题可能很快就会遇到表达瓶颈。此外，极低成本的提取模型在极长文本或复杂语义纠缠下的鲁棒性，仍然需要开发者在真实业务场景里仔细验证。