검색기 없이 문서를 찾는 'DecisionRAG' 공개, 268만 개 단락 검색에 0.7초

RAG 시스템을 구축해 본 사람이라면 누구나 공감하는 골칫거리가 있습니다. 바로 앞단의 검색기가 필요한 단락을 놓치면, 뒷단에 아무리 똑똑한 생성 모델을 붙여도 정답을 복구할 수 없다는 점입니다.

그렇다고 거대언어모델에 검색 과정을 하나하나 추론하게 만들면 속도가 너무 느려집니다. 2026년 10월 26일 연구진이 arXiv를 통해 발표한 DecisionRAG는 기존 벡터 검색기를 과감히 버리고 결정 모델로 문서를 탐색하는 새로운 방식을 제안했습니다.

도서관 서가를 뒤지듯 계층별 탐색

기존 방식은 키워드 매칭이나 고정된 벡터 임베딩 유사도에 의존해 실제 맥락과 딱 맞는 문서를 찾는 데 한계가 있었습니다.

DecisionRAG는 사람이 도서관에서 책을 찾는 방식에서 아이디어를 얻었습니다. 방대한 자료를 대분류, 문서 제목, 개별 단락으로 이어지는 트리형 계층 구조로 정리해 둡니다.

가장 영리한 부분은 문자를 하나씩 생성하며 고민하지 않는다는 점입니다. 결정 모델은 단 한 번의 연산으로 같은 층위에 있는 모든 선택지를 한꺼번에 평가합니다.

공유된 맥락 안에서 후보군을 비교 평가하기 때문에 점수의 신뢰도가 훨씬 높습니다. 텍스트를 출력할 필요 없이 가장 점수가 높은 경로만 타고 내려가므로, 모델이 생각하며 검색하는 방식보다 30배 이상 빠릅니다.

268만 개 단락 검색에 0.7초

논문에 공개된 성능 지표는 인상적입니다. 네 가지 벤치마크 테스트에서 작업별 특화 훈련 없이도 뛰어난 성과를 냈습니다.

268만 개 이상의 위키피디아 단락이 포함된 거대 코퍼스에서도 검색 시간은 0.7초에서 1.8초에 불과했습니다. 검색 한 건당 비용도 0.2~2.3센트 수준으로 매우 낮았습니다.

특히 1차 검색기 없이도 8B 파라미터 크기의 재순위화 모델을 붙인 고밀도 벡터 검색 조합을 가볍게 앞질렀습니다.

MultiDoc2Dial 테스트에서는 R@1 기준 13.8점, Natural Questions에서는 Hit@1 기준 17.4점이나 높은 정확도를 기록했습니다.

왜 중요한가

우리는 DecisionRAG가 기존의 '벡터 검색 후 재순위화'라는 전형적인 틀을 깼다는 점에서 의미가 크다고 봅니다.

그동안 업계는 재순위화 모델을 키우는 데 집중해 왔지만, 첫 단계에서 후보를 놓치면 뒤에서 아무리 손을 써도 소용이 없었습니다. DecisionRAG는 모델의 판단력을 검색 과정에 직접 투입하면서도 토큰 생성을 생략해 실시간 서비스가 가능한 속도를 확보했습니다.

카테고리나 목차 구조가 잘 잡힌 기술 문서, 매뉴얼 등을 관리하는 개발자나 기업이라면 눈여겨볼 만한 기술입니다. 추론 속도를 해치지 않으면서도 정밀한 문서 탐색이 가능하기 때문입니다.

다만 문서의 계층 구조에 크게 의존한다는 점은 숙제입니다. 분류 체계 없이 파편화된 데이터에 적용하려면, 사전에 지식 베이스를 얼마나 매끄럽게 트리 형태로 구조화할 수 있느냐가 관건이 될 것입니다.