리퀴드 AI, 11개 언어 지원 경량 검색 모델 'LFM2.5' 2종 출시

리퀴드 AI가 공개한 LFM2.5-ColBERT-350M과 LFM2.5-Embedding-350M은 350M 매개변수만으로 11개 언어 검색을 지원하는 초경량 검색 모델입니다. 일반 노트북이나 엣지 기기에서도 상품 카탈로그, 고객지원 FAQ, 기술 문서 등을 대상으로 빠르고 저렴하게 다국어 검색을 실행할 수 있습니다.

모델별 특징과 용도

두 모델 모두 한국어, 아랍어, 독일어, 영어, 스페인어, 프랑스어, 이탈리아어, 일본어, 노르웨이어, 포르투갈어, 스웨덴어 등 11개 언어를 지원하지만 지향하는 바가 다릅니다.

LFM2.5-Embedding-350M은 문서를 단일 밀집 벡터로 변환하는 바이인코더 모델입니다. 검색 처리 속도가 가장 빠르고 인덱스 저장 용량을 최소화할 수 있어, 대규모 문서를 저비용으로 인덱싱해야 하거나 메모리가 제한된 환경에 적합합니다.

LFM2.5-ColBERT-350M은 토큰별로 벡터를 생성하는 후기 상호작용(Late Interaction) 방식을 취합니다. 인덱스 용량이 커지는 단점이 있지만, 단어 단위 매칭을 통해 검색 정확도와 교차 언어 일반화 성능을 크게 끌어올립니다. 저장 공간보다 검색 품질이 우선인 프로젝트에 유리합니다.

인과적 디코더를 검색용 인코더로 개조한 방식

텍스트를 왼쪽에서 오른쪽으로만 읽는 기존 인과적 언어 모델은 전체 문맥을 균형 있게 파악해야 하는 검색 작업에 비효율적입니다. 리퀴드 AI는 지난 3월 공개한 LFM2.5-350M-Base 모델에 양방향 패치를 적용해 이를 해결했습니다.

인과적 어텐션 마스크를 양방향 마스크로 교체해 모든 토큰이 앞뒤 문맥을 동시에 참조하도록 바꿨으며, 아키텍처 내부의 짧은 합성곱 레이어도 비인과적으로 변경해 국소 정보를 대칭적으로 수집하게 만들었습니다.

이후 대규모 영어 데이터 대조 학습, 11개 대상 언어로의 다국어 및 교차 언어 지식 증류, 어려운 음성 샘플(Hard Negatives)을 활용한 최종 파인튜닝까지 3단계 학습 과정을 거쳤습니다.

벤치마크 결과와 로컬 구동

두 모델은 작은 크기에도 불구하고 다수의 경쟁 모델을 앞섰습니다. 다국어 검색 벤치마크 NanoBEIR에서 ColBERT 모델은 0.605, Embedding 모델은 0.577을 기록해 600M 크기의 Qwen3-Embedding-0.6B(0.556)와 알리바바의 gte-multilingual-base(0.528)를 제쳤습니다.

교차 언어 질의응답 벤치마크인 MKQA-11에서도 각각 0.694와 0.691의 Recall@20 점수를 기록하며 동급 최고 성능을 입증했습니다.

현재 허깅페이스에서 가중치를 내려받을 수 있으며, llama.cpp 환경을 위한 GGUF 포맷도 함께 제공됩니다. 일반 CPU 기반 환경에서도 캐시된 쿼리 처리 시간이 7~8밀리초 수준에 불과하고, 엔터프라이즈 GPU 스택에서는 1.3~1.5밀리초 수준으로 동작합니다. 자체 도메인 데이터셋 파인튜닝을 위한 sentence-transformers 예제 코드도 제공됩니다.

왜 중요한가

우리는 이 모델이 엣지 기기나 로컬 환경에서의 다국어 RAG 구축 비용을 획기적으로 낮췄다는 점에서 의미가 크다고 봅니다. 그동안 고품질 다국어 검색을 구현하려면 무거운 기가바이트급 모델을 구동하거나 유료 클라우드 API를 써야 했습니다. 350M 크기에 GGUF까지 지원되면서 고가 그래픽 카드 없이도 단말 내부에서 완결되는 다국어 검색 파이프라인을 만들 수 있게 되었습니다.

다만 장문의 논문보다는 상품 리스트나 지원 티켓 같은 단문 검색에 특화되어 있다는 점은 감안해야 합니다. 로컬 인프라 기반으로 다국어 지식베이스를 가볍게 운영하려는 개발자라면 지금 바로 테스트해 볼 가치가 충분합니다.