센티언트, 오픈소스 AI 검색 'ODS' 공개…퍼플렉시티에 도전

오픈 딥 서치(ODS)는 대형언어모델(LLM)을 활용해 퍼플렉시티나 챗GPT 서치 수준의 고성능 AI 검색 엔진을 직접 구축할 수 있도록 지원하는 오픈소스 프레임워크다.

그동안 뛰어난 AI 검색 기술은 대부분 상용 서비스의 블랙박스 안에 갇혀 있어 기업이 자사 환경에 맞게 커스텀하기 어려웠다. 센티언트 파운데이션(Sentient Foundation)은 이 격차를 해소하기 위해 플러그앤플레이 방식으로 연동할 수 있는 ODS를 공개했다.

내부 작동 원리

ODS는 크게 정보를 수집하는 '오픈 서치 툴'과 추론을 담당하는 '오픈 리즈닝 에이전트' 두 가지 핵심 요소로 나뉜다.

오픈 서치 툴은 사용자의 질문을 그대로 검색창에 넣지 않는다. 다양한 관점을 포착하기 위해 질문을 여러 방식으로 재구성한 뒤 검색을 수행한다. 이어 상위 결과와 연결된 웹페이지의 내용을 청킹(chunking)하고 재순위화(re-ranking)해 가장 관련성 높은 문맥만 골라낸다. 위키피디아, 아카이브(arXiv), 펍메드(PubMed) 같은 특정 출처는 별도로 처리하며, 상충하는 정보가 있을 경우 신뢰도 높은 출처를 우선시한다.

이를 지휘하는 추론 에이전트는 두 가지 버전으로 제공된다.

ODS-v1은 전통적인 ReAct 프레임워크와 생각의 사슬(CoT)을 결합했다. 사고 과정과 검색 도구 호출을 번갈아 진행하며, 에이전트가 답을 내기 어려워하면 판별 모델이 개입해 여러 경로를 샘플링한 뒤 공통된 답을 고르는 자가 일관성(Self-Consistency) 방식을 쓴다.

ODS-v2는 허깅페이스의 스몰에이전트(SmolAgents) 라이브러리를 기반으로 한 코드액트(CodeAct)와 체인오브코드(CoC) 방식을 도입했다. 모델이 코드를 직접 작성하고 실행하면서 행동을 계획하기 때문에, 여러 번의 검색이 필요한 복잡한 다단계 질의도 매끄럽게 처리한다.

벤치마크 성능과 효율성

ODS는 딥시크-R1 같은 오픈소스 모델뿐 아니라 GPT-4o, 클로드 등 기존 상용 모델과도 자유롭게 결합할 수 있다.

센티언트 연구진이 복잡한 다단계 질문을 평가하는 FRAMES와 사실 기반 질의응답인 SimpleQA 벤치마크를 통해 테스트한 결과, 딥시크-R1과 결합한 ODS(v1 및 v2)는 퍼플렉시티의 주요 플래그십 제품군을 모두 앞섰다.

특히 복잡한 추론을 요구하는 FRAMES 벤치마크에서 ODS-v2와 딥시크-R1 조합은 오픈AI의 GPT-4o 서치 프리뷰를 넘어섰고, SimpleQA에서도 대등한 수준의 정확도를 기록했다.

효율성 면에서도 똑똑한 모습을 보였다. 질문의 난이도에 따라 검색 도구 사용을 스스로 조절해, 단순한 질문에는 검색 횟수를 줄이고 복잡한 다단계 질문에만 심층 검색을 수행하며 토큰 낭비를 줄였다.

왜 중요한가

민감한 사내 데이터를 외부 폐쇄형 SaaS에 넘기지 않고 독립적인 고성능 딥 리서치 시스템을 구축하려는 기업이나 개발자에게 ODS는 훌륭한 대안이다.

그동안 오픈소스 진영의 AI 검색은 조잡한 RAG 파이프라인 수준에 머무는 경우가 많았으나, ODS는 오픈 모델과 지능형 에이전트 설계만으로도 최고 수준의 상용 검색 엔진을 따라잡을 수 있음을 입증했다. 다만 최종 성능은 연동하는 웹 검색 API의 품질과 선택한 기반 LLM의 성능에 크게 좌우되므로, 실제 프로덕션 도입 시에는 인프라 튜닝이 필수적이다.