Raindrop、エージェント監視基盤「Signals 2.0」公開　GPT-5.6級の精度を1600分の1のコストで

本番環境でAIエージェントを運用したことがある人なら、誰しも冷や汗をかいた経験があるはずです。ツール呼び出しが3回連続でタイムアウトしたにもかかわらず、エージェントは何食わぬ顔でユーザーに「完了しました」と報告してしまうような挙動です。

こうした失敗を検知するのは容易ではありませんでした。数十万トークンに及ぶログ全体をフロンティアモデルに流せばコストが破綻し、安価な小型モデルでは複雑な文脈を正しく解釈できないからです。

AIオブザーバビリティを手掛けるRaindropは8月11日、新アーキテクチャ「rd-signal-2」を中核に据えた「Signals 2.0」を発表しました。本番トレースから特定のエージェント挙動を二値分類で検出するタスク特化型のパイプラインです。

最大の特徴は圧倒的なコストパフォーマンスです。同社によると、GPT-5.6 Sol xhighに迫る精度を1600分の1のコストで実現し、GPT-5.6 Luna xhighと比較しても260分の1に抑えたとしています。中央値で100ミリ秒という高速な処理速度を誇り、すでに月間200億件以上のトレースを処理しています。既存顧客には追加費用なしで提供されます。

構築時に推論し、実行時はコードで弾く

この低コストと高速性を両立させた鍵は「推論の前倒し」にあります。

フロンティアモデルを毎回走らせるのではなく、rd-signal-2は分類器の構築段階で過去のトレースを分析し、必要な文脈を抽出するための決定論的なコードを自動生成します。

例えば前述のツール連続失敗のケースでは、生成されたコードが「同一引数で3回連続失敗したか」をまず判定します。条件に当てはまらなければ、モデルを一切呼び出さずに非該当として終了します。

判定が分かれるグレーな候補のみが、抽出された最小限のコンテキストとともに専用の分類ヘッドと社内推論モデルに送られます。このコードは外部通信を遮断したサンドボックス内で実行され、ヘルスケアなど厳格な規制環境向けにゼロデータ保持（ZDR）にも対応しています。

なぜ重要か

Signals 2.0の巧妙さは、「LLM-as-a-judge（LLMによる品質評価）」のコスト構造を根底から変えた点にあります。

これまで、エージェントのログ監視は「高額な推論費用を払って大モデルを使う」か「精度を犠牲にして小モデルで妥協する」かの二者択一でした。ルールベースのコードで大半の正常系をゼロコストで弾き、本当に曖昧な境界線だけを小型モデルに任せるハイブリッド方式は、商用運用の観点から見て極めて実用的です。

自社でエージェントを本番運用している開発者にとって、追加料金なしで100ミリ秒のリアルタイム監視が手に入る価値は非常に高く、今すぐ試す価値があります。MCP経由でコーディングエージェントから監視ルールを直接作成できる点も開発体験として優れています。

一方で課題となるのは、ルールの定義そのものの曖昧さです。同社の検証でも、同じ挙動を表す1文のプロンプトを4通り試しただけで、2000件のトレースに対する適合率は0.9%から4.6%までブレが生じました。どれほど分類器が高速かつ安価になっても、「何をもってエージェントの失敗とみなすか」という人間の合意形成が最大のボトルネックとして残るはずです。