코히어, 기업 검색·RAG 특화 '리랭크 3 님블' 공개…3배 가속

기업용 검색이나 RAG(검색 증강 생성) 시스템을 구축할 때 재순위화(Rerank) 단계는 정확도와 처리 지연 시간 사이에서 늘 고민거리가 됩니다.

Cohere는 Rerank 기반 모델 시리즈의 최신 버전인 Rerank 3 Nimble을 공개했습니다.

정확도를 유지하며 3배 빨라진 처리 속도

Rerank 3 Nimble은 기업용 검색과 RAG 시스템을 강화하기 위해 설계된 모델입니다.

Cohere에 따르면 이 모델은 기존 Rerank 3 대비 약 3배 빠른 속도를 제공하면서도 높은 수준의 정확도를 그대로 유지합니다.

다만 사용 환경에는 제약이 있습니다. Cohere는 현재 Rerank 3 Nimble을 Amazon SageMaker에서만 독점 제공한다고 밝혔습니다.

왜 중요한가

이번 조치는 실제 상용 서비스 운영 환경의 병목을 정확히 겨냥한 것으로 보입니다.

RAG 시스템에서 재순위화 모델은 문서 관련성을 획기적으로 높여주지만, 동시에 전체 응답 속도를 떨어뜨리는 주요 원인이 되곤 했습니다. 정확도를 해치지 않으면서 속도를 3배 개선한 점은 지연 시간에 민감한 개발팀에 유용한 선택지가 될 수 있습니다.

다만 Amazon SageMaker 전용으로만 출시된 만큼, 다른 클라우드 인프라를 사용하는 기업에는 도입 장벽이 여전히 존재합니다.