LevantoがSage2を発表：リアルタイム意思決定と超低コスト抽出に対応

カスタマーサポートのAIを作っていると、ユーザーが途中で話を変える場面によく出くわします。最初は返金を求めていたのに、会話の途中でサイズ交換に切り替えるようなケースです。

従来の仕組みでは、ユーザーの意図が変わるたびに過去の会話ログをすべてまとめ直して大規模モデルに再送信する必要がありました。これでは応答の遅延が大きくなり、API利用料も跳ね上がります。

Levantoはこの課題を解決するSage2を公開しました。構造化データの抽出と、ストリーミングによるリアルタイム意思決定を行う開発者向けツールです。

会話を追記しながら判定、全履歴の再送は不要

Sage2の注目点はWebSocketで接続するStreaming APIです。1つのセッションで最大32問の質問と、16384トークンのコンテキストおよび質問に対応します。

たとえば、顧客が見積もりを明示的に承認したかを yesかnoで判定させることができます。交渉の途中では判定はnoのままですが、顧客が提示条件を受け入れた瞬間にyesへと切り替わります。

文脈はサーバー側で保持されるため、クライアント側は新しく届いた発言だけを順次送信すれば済みます。Levantoによると、コンテキストが継続的に増える状況下での意思決定速度は従来比で3倍に向上したとのことです。

抽出コストをOpus 5.5の166分の1に抑制

もうひとつの柱であるExtract APIは、自然言語から型付けされたデータを直接取り出す機能です。

月額450ドル以下で中型SUVが欲しいと入力すれば、車種と予算の数値を抽出し、指定されていない返済期間にはnullを返します。後から期間が追加されれば、ISO 8601形式の期間データに即座に変換されます。

公式発表によると、CloudflareのClairicを上回る性能を持ち、抽出コストはClaude Opus 5.5の166分の1に抑えられています。あわせて推論、Web検索連携、画像認識のベータ版機能も用意され、2000万トークンの無料枠も提供されています。

なぜ重要か

私たちは、すべての判断を高価な汎用フロンティアモデルに任せないというアプローチが極めて現実的で賢いと考えています。

エージェントの現場で最も頻繁に発生するのは、ステータスの確認やパラメータの抽出、分岐ルーティングといった処理です。これらを毎回巨大なモデルに丸投げするのは、コスト面でもレイテンシの面でも大きな無駄でした。

Sage2のように状態判定をストリーミング化し、抽出コストを大幅に下げる基盤があれば、リアルタイム音声対話やチャットボットの応答速度を劇的に改善できます。巨大モデルの前段に置くルーターとしても実用価値が高いと言えます。

ただし、事前に質問項目を明確に定義できるワークフローでなければ効果を発揮しにくい点には注意が必要です。自由すぎる会話を32問の枠組みだけでどこまで正確に制御できるか、実際の運用現場での精度検証が求められます。