유닷컴, LLM에 실시간 웹 검색 연결하는 새 API 출시

대다수 거대언어모델은 정적 데이터로 학습되어 어제 일어난 일조차 알지 못합니다. OpenAI는 Bing을 통해 ChatGPT를 인터넷에 연결했고 구글은 자사 검색으로 Bard를 무장시켰지만, 나머지 모델들은 실시간 정보를 얻을 마땅한 통로가 없었습니다.

AI 기반 검색엔진 You.com이 메타의 Llama 2 같은 언어모델에 실시간 웹 검색 기능을 달아주는 전용 API를 공개했습니다. Anthropic과 Cohere, 오픈소스 프레임워크인 LlamaIndex가 이미 이 API를 시스템에 도입했습니다.

가격은 월 100달러부터 시작하며 매달 14200회의 호출을 제공합니다. 정식 도입 전 월 1000회 호출이 가능한 60일 무료 체험을 이용할 수 있고, 대규모 엔터프라이즈 고객을 위한 연간 할인 플랜도 마련되었습니다.

클릭용 요약 대신 AI용 긴 본문 제공

구글이나 빙의 기존 검색 API와 무엇이 다를까요. You.com 창업자이자 CEO인 Richard Socher는 기존 검색 API가 인간의 링크 클릭을 유도하기 위해 아주 짧은 요약문만 제공한다는 점을 지적했습니다. 이런 짧은 조각은 언어모델에 충분한 맥락을 주지 못합니다.

반면 You.com은 언어모델이 소화하기 알맞은 긴 스니펫 색인을 자체 구축했습니다. 사용자가 질문을 던지면 API가 관련 긴 단락을 찾아 프롬프트 뒤에 실시간 컨텍스트로 덧붙여주는 방식입니다.

제공되는 API는 일반 웹 검색, 뉴스 검색, 검색 결과와 모델을 결합해 답변 정확도를 높이는 RAG 등 세 가지 형태입니다. 다만 사용자의 물리적 위치를 파악하지 못해 내 주변 식당 추천 같은 위치 기반 질문에는 취약하며, 정제되지 않은 웹 문서의 오류나 어뷰징에 노출될 위험도 상존합니다.

왜 중요한가

이번 출시는 거대 기술 기업들이 쥐고 있던 검색 참호를 허무는 시도라는 점에서 주목할 만합니다.

오픈소스 모델의 추론 능력이 독점 모델을 바짝 뒤쫓는 상황에서, 마이크로소프트의 Bing이나 구글 검색 같은 백엔드는 빅테크만의 강력한 차별점이었습니다. 자체 검색 엔진을 구축할 여력이 없는 스타트업과 개발사 입장에서, 모델에 최적화된 웹 검색을 월 100달러 수준에 붙일 수 있다는 것은 개발 장벽을 크게 낮춰줍니다.

다만 실시간 웹 연결이 무조건 정확한 답변을 보장하지는 않습니다. 웹에는 검색 최적화로 도배된 저품질 문서와 거짓 정보가 넘쳐나기 때문에, You.com의 인덱싱 엔진이 이런 스팸을 얼마나 깔끔하게 걸러내느냐가 관건입니다. 개발자 입장에서는 프로토타입 단계에서 시도해볼 가치는 충분하지만, 핵심 서비스에 올릴 때는 자체적인 검증 필터를 반드시 마련해야 할 것으로 보입니다.