MS, AI 에이전트 전용 검색 API '웹 IQ' 공개…지연시간 165ms 이하

기존 AI 시스템이 웹 정보를 참조할 때는 사람이 쓰던 검색 API를 그대로 활용해 웹페이지 전체를 긁어온 뒤 긴 문맥을 분석해야 했습니다.

마이크로소프트는 6월 2일, 자율형 AI 에이전트 워크로드를 위해 밑바닥부터 재설계한 AI 네이티브 그라운딩 API 제품군 'Web IQ'를 발표했습니다. 수십 년간 축적된 Bing의 글로벌 인덱스를 기반으로 삼되, 인덱싱부터 랭킹, 문단 추출까지 전 과정을 에이전트의 다단계 추론 환경에 맞췄습니다.

문서 전체 대신 핵심 단락만 반환

에이전트는 사람처럼 한 번 검색하고 끝내는 것이 아니라 추론 과정에서 지속적으로 정보를 다시 찾습니다. 이때 방대한 웹페이지 전문을 LLM 컨텍스트에 그대로 밀어 넣으면 토큰 낭비가 심해지고 지연 시간이 급증합니다.

Web IQ는 문서 전체를 넘기는 대신 웹페이지, 뉴스, 이미지, 동영상에서 필요한 단락과 구조화된 증거 단위로 정보를 정제해 전달합니다. 이를 위해 마이크로소프트는 자체 벡터 검색 기술인 DiskANN 기반의 분산 검색 패브릭을 접목해 토큰 대비 정보 밀도를 끌어올렸습니다.

165ms 미만의 p95 지연 시간, 기존 대비 2.5배 빠른 속도

속도는 에이전트가 단일 시도에 그치지 않고 여러 차례 검색과 추론을 반복할 수 있는지를 결정하는 핵심 요소입니다. 미국 서부·중북부·동부와 북유럽, 한국 등 5개 데이터센터 환경에서 캐시를 배제하고 측정한 결과, Web IQ의 p95 지연 시간은 165ms 미만을 기록해 기존 경쟁 솔루션 대비 약 2.5배 빠른 처리 속도를 보였습니다.

품질 측면에서도 완전성, 최신성, 권위성을 종합 평가하는 GDSAT 지표 기준 3,000건의 글로벌 실환경 블라인드 쿼리 테스트에서 대체 솔루션들을 앞섰다고 밝혔습니다. 아울러 robots.txt 및 퍼블리셔 권한 설정을 기본적으로 준수하며 개방형 웹 표준을 따른다는 점도 덧붙였습니다.

왜 중요한가

마이크로소프트가 사람을 위한 검색과 에이전트를 위한 검색을 명확히 구분하고 인프라 수준에서 접근했다는 점이 핵심입니다.

그동안 많은 개발자들은 RAG 파이프라인에 구형 검색 API나 스크래퍼를 덧대어 썼고, 이로 인해 느린 응답 시간과 과도한 입력 토큰 비용을 감수해야 했습니다.

p95 지연 시간을 165ms 미만으로 낮춘 것은 에이전트가 다단계 검색을 수행하더라도 사용자가 체감하는 대기 시간을 실용적인 수준으로 통제할 수 있게 해줍니다. 필요한 단락만 골라 전달하는 방식 역시 토큰 단가를 직접 낮춰주는 실질적인 이점입니다. 다만 외부 시스템이 추출한 단락에 의존하는 구조상, 검색 계층에서 핵심 맥락을 놓쳤을 때 하류 모델이 이를 바로잡기 어렵다는 잠재적 한계는 존재합니다. 그럼에도 에이전트 서비스를 상용화하려는 개발자에게는 즉시 도입을 검토할 만한 도구로 평가됩니다.