Levanto 推出 Sage2：支援流式決策，提取成本降低 166 倍

首次發布 2026年11月2日傳播指數 45

Levanto 推出 Sage2，為開發者提供結構化資料提取與流式即時決策介面。它支援隨著使用者對話持續輸入動態更新判斷，無需每次重發完整上下文；官方稱提取成本比 Opus 5.5 低 166 倍。最值得關注的是，這大幅減輕了智慧體即時路由與狀態機輪詢的延遲和成本。

如果你做過 AI 客服或者自動化 Agent，大機率踩過這個坑：使用者聊著聊著突然改了口，上一秒還在嚷著退款，下一秒又改成了換尺碼。

在傳統架構裡，為了搞清楚使用者到底想幹嘛，你的後端往往得把整段聊天記錄打包，一次次丟給大模型重新做意圖判斷和欄位抽取。不僅延遲肉眼可見，賬單也會蹭蹭往上漲。

Levanto 正式推出 Sage2，專門給這類需要即時處理人類語言的軟體提供了兩套底層構件：結構化提取與流式決策。

邊聊邊下判斷，不用每次重傳聊天記錄

Sage2 最亮眼的一點在於它的 Streaming API。它通過 WebSocket 建立連線，單個會話支援最多 32 個判斷問題以及 16384 token 的上下文。

在會話裡，開發者可以預設一系列是否題，比如使用者是否已經明確接受了報價並要求出單。只要使用者還沒答應，系統的狀態就保持在否定。

關鍵在於，Sage2 服務端會自己累積對話上下文。前端每次只需把新收到的文本碎塊往裡追加，模型就會即時更新當前判斷，完全不需要你每次都把幾千 token 的歷史記錄重發一遍。

根據官方披露的資料，在持續增長的上下文場景中，這種流式語義決策的速度比以往快了 3 倍。

除了流式決策，Sage2 的另一大殺手鐧是資訊提取。

使用者隨口說一句我想買臺月供不超過 450 美元的中型 SUV，Sage2 就能把車型、預算金額和貸款期限等型別化資料直接挖出來。如果使用者沒提還款期，欄位就返回空值；一旦後面補充了 60 期，它馬上解析成標準的 ISO 8601 時長格式。

官方表示，這項提取能力不僅支援文本、數字、貨幣、日期和時間，還會返回置信度機率以及對應原文的位置。在效能上，官方稱其超越了 Cloudflare 的 Clairic，而提取成本只有 Claude Opus 5.5 的一百六十六分之一。

目前 Sage2 還同步推出了針對推理、網頁檢索以及視覺的測試版功能。除了直接通過現有 API 金鑰呼叫，新使用者還可以獲得 2000 萬免費 token，並能在 NEAR AI 以及支援 Stripe 和 Tempo 的 MPP 支付環境裡呼叫。

我們認為，Sage2 代表了一種非常清醒的工程路線：別什麼事都丟給昂貴又遲緩的通用前沿大模型去扛。

在很多生產級 Agent 工作流中，最頻繁的動作其實是狀態機輪詢、引數提取和分支路由。讓 Opus 級別的大模型每一輪都做這種簡單判斷，既是對算力的巨大浪費，也是拖慢應用響應速度的元兇。

Sage2 把狀態判斷做成持續增量流式處理，並在提取端把價格打骨折，對開發高頻即時客服、智慧問答以及自動化表單填寫的團隊來說，幾乎是立竿見影的減負。哪怕只是作為大模型前置的路由層，它也能幫你省下大筆開銷。

不過這也對開發者的架構設計提出了要求。流式決策雖然快，但它本質上依賴對業務狀態的清晰拆解；如果你的業務邏輯本身定義不清，預設的 32 個問題可能很快就會遇到表達瓶頸。此外，極低成本的提取模型在極長文本或複雜語義糾纏下的魯棒性，仍然需要開發者在真實業務場景裡仔細驗證。