Raindrop 推出 Signals 2.0:監測智慧體故障,成本比 GPT-5.6 低 1600 倍
Raindrop 釋出 Signals 2.0 與 rd-signal-2 流水線,專門在生產軌跡中檢測智慧體的長上下文多輪故障。其分類準確率接近 GPT-5.6 Sol xhigh,但成本僅為其 1/1600,中位延遲僅 100 毫秒。該功能已向 Raindrop 全體客戶免費開放。

只要你在生產環境裡跑過複雜的 AI Agent,就一定遇過這種鬼故事:模型調同一個工具連著超時三次,轉頭卻面不改色地告訴使用者「事情已經辦好了」。
要想把這種翻車抓出來,以前的做法很痛苦。要是用前沿大模型去把每一條几十萬 token 的呼叫日誌從頭讀到尾,賬單會瞬間爆炸;要是用便宜的小模型,它又根本處理不了跨越多輪對話、子智慧體和工具呼叫的複雜上下文。
AI 監控與評估平臺 Raindrop 上線了 Signals 2.0。它核心驅動的模型架構叫 rd-signal-2,專門用來在海量生產追蹤裡給各種具體的 Agent 異常行為做二分類。
最誇張的是成本。官方資料顯示,它的判斷準確度逼近 GPT-5.6 Sol xhigh,成本卻只有後者的 1600 分之一,比 GPT-5.6 Luna xhigh 也便宜了 260 倍。整個平臺的中位分類耗時只有 100 毫秒,目前這套基礎設施每個月要過濾超過 200 億條日誌。
把推理留在出廠前,線上跑確定性程式碼
小模型是怎麼做到這種準確率和速度的?Raindrop 的思路是把算力花在「構建期」,而不是「執行期」。
所謂構建期推理,簡單來說就是把大模型的思考前置。rd-signal-2 在你定義某個異常行為時,會先去研讀真實日誌,自己寫出一套確定性的程式碼來抓取關鍵上下文。
舉個例子,遇到前面說的工具連環超時謊報成功,系統生成的程式碼會先在本地做硬規則檢查:只有當同一個工具輸入完全一樣、連續失敗至少三次時,才會觸發下一步。如果根本沒這回事,程式碼直接給否定判定,連一分錢的模型推理都不用調。
只有那些真正符合前置嫌疑的少數樣本,才會被截出最核心的程式碼片段,送進專屬的任務分類頭和自研輕量推理模型去做最終裁決。也就是說,九成以上的正常流量全被輕量程式碼零成本過濾掉了。
為了防範安全隱患,這些自動生成的程式碼被當作不受信任的程式碼處理,全部放在沒有外部網路訪問許可權、也沒有憑證的隔離沙箱裡執行,而且支援零資料保留,直接打通了醫療等高合規場景。
為什麼重要
我們認為,Signals 2.0 最聰明的地方,在於它打破了「給 Agent 做質檢必須全量跑大模型」的思維定勢。
以前業內做 Agent 監控,要麼是在自欺欺人,用小模型硬掃然後漏報一堆邏輯錯誤;要麼就是貴到肉疼,監控系統的賬單比 Agent 業務本身還要貴。Raindrop 這種「程式碼先過濾大部分確定事件,模型只判斷邊緣模稜兩可」的混合架構,不僅讓延遲壓到了 100 毫秒,更直接讓 Raindrop 敢把這項功能免費塞給所有付費客戶。
對於正在把 Agent 推向實際業務的團隊來說,這東西很值得一試。以前你想給 Agent 加一條業務紅線,光是對齊失敗定義和寫評測就要折騰幾天,現在你可以直接讓內部的 Triage Agent 甚至通過 MCP 協議讓 Cursor 等程式設計助手幫你把生產日誌一鍵轉成監控規則。
不過它的隱患也很明確。Raindrop 自己在測試裡也承認,光是對同一個異常行為換四種一句話描述,在 2000 條真實日誌裡的命中率就能從 0.9% 飄到 4.6%,其中三分之二的命中結果還會互相沖突。程式碼寫得再快,只要團隊內部對「到底什麼算翻車」沒有極其嚴謹的定義,規則漂移和誤傷就依然無法避免。
來源 (1)
- raindrop.ai(在新分頁開啟)原文raindrop.ai