跳到正文
IFAI

AI工具

微軟推出 Web IQ 接地 API:專為 AI Agent 重構,延遲低於 165 毫秒

首次發布 傳播指數 39

Microsoft 推出面向 AI 智慧體的接地檢索 API「Web IQ」。它基於 Bing 全球索引重構,不返回整篇網頁,而是直接抽取段落級結構化證據以節省 token,p95 延遲低於 165 毫秒。這意味著多步推理智慧體能以更低成本快速獲取即時網路資料。

微軟推出 Web IQ 接地 API:專為 AI Agent 重構,延遲低於 165 毫秒
圖:blogs.bing.com

以前給 AI 連網找資料,流程大概是這樣的:模型甩出一個關鍵詞,搜尋 API 抓回來幾篇長長的網頁全文,塞進上下文,模型再慢吞吞地翻找有用資訊。

微軟上線了名為 Web IQ 的一套 AI 原生網路檢索 API。簡單說,這是微軟專門給 AI Agent 重新造的一個搜尋引擎,底層用的是跑了幾十年的 Bing 全球索引,但從檢索、分塊到排序全都重構了一遍。

不給網頁全文,只喂關鍵證據

傳統的網路搜尋是做給人看的,人需要點進網頁看全文。但 Agent 不是人,它在多輪推理任務裡會反覆檢索,每次把上萬字的整篇網頁硬塞進上下文視窗,既費 token,又容易讓大模型產生幻覺。

微軟在 Web IQ 上的做法很乾脆:不再返回完整文件,而是返回提煉好的段落級結構化證據。不管是網頁、新聞、圖片還是影片,系統都會先把最相關的片段挑出來,壓縮上下文長度,換取更高的資訊密度。

除了資訊處理方式變了,底層架構也換了。微軟把以前的 DiskANN 磁碟向量檢索技術搬了進來,做成了分散式的檢索架構,支援在全球資料中心之間快速路由。

壓到 165 毫秒以下,跟對手拉開 2.5 倍差距

在 Agent 的執行鏈路裡,檢索速度直接決定了體驗。要是查一次資料要等兩三秒,一個需要反覆查三四次才能完成的任務,使用者早就退出了。

根據微軟公佈的基準測試,Web IQ 在五個主要資料中心(美西、美中北、美東、北歐和韓國)的測試中,p95 延遲壓到了 165 毫秒以內。微軟表示,在相同測試條件下,這個速度比上一代同類競品快了將近 2.5 倍。

在檢索質量方面,微軟用了專門評估 Agent 檢索的 GDSAT(接地滿意度)指標,從完整度、時效性和權威性來打分。在一份包含 3000 個全球生產環境真實盲測查詢的樣本集裡,Web IQ 的表現也超過了其他替代方案。

微軟還特別提到,Web IQ 繼承了 Bing 對開放網際網路協議的遵守,預設遵循 robots 協議、出版商控制項和訪問偏好,目前也在通過 IETF 等標準組織參與制定 AI 時代的互操作規範。

為什麼重要

我們認為,微軟推 Web IQ 最聰明的地方,在於它終於認清了普通搜尋和 Agent 搜尋的本質區別。

以前大批做 Agent 產品的開發者,要麼拿 Google 或 Bing 的舊版搜尋 API 湊合,要麼自己寫爬蟲把網頁抓回來做 RAG。這種做法不僅延遲不可控,每呼叫一次都在燒昂貴的輸入 token,而且很容易撞上反爬或版權限制。

Web IQ 抓住了開發者最肉痛的兩點:延遲和 token 成本。把 p95 壓到 165 毫秒以內,意味著 Agent 終於有資本在後臺跑多次鏈式檢索,而不是被逼著把所有問題畢其功於一役。返回段落而非全文,也直接降低了每一次 API 呼叫的上下文開銷。

不過隱患也顯而易見。過度依賴系統自動提煉的證據段落,等於把事實篩選的前置權力交給了微軟的嵌入和重排模型。一旦系統挑錯了片段,下游的 Agent 就完全失去了糾錯的機會。但對大部分被搜尋延遲折磨的開發者來說,這套新工具依然值得第一時間拿去測一測。

來源 (1)

  1. [1]
    blogs.bing.com(在新分頁開啟)原文blogs.bing.com

每日 AI 內容精選