Search Arena 벤치마크 공개: 퍼플렉시티 소나, 제미나이 2.5와 공동 1위

기존 AI 벤치마크가 단순 사실 암기에 집중했다면, 실제 사용자들이 복잡한 검색을 시켰을 때는 완전히 다른 결과가 나왔습니다.

LM Arena가 검색 증강 LLM 시스템을 실제 사용자 선호도로 평가한 새로운 'Search Arena' 리더보드를 공개했습니다. 11개 모델을 대상으로 1만 건 이상의 블라인드 투표를 집계한 결과, Perplexity의 Sonar 모델들이 상위권을 휩쓸었습니다.

구글과 공동 1위, 오픈AI 검색 완전 제쳐

이번 평가는 2025년 3월 18일부터 4월 13일까지 진행되었으며, 코딩, 리서치, 작문 등 현실의 길고 복잡한 실시간 질문들을 다뤘습니다.

결과에서 Perplexity의 'Sonar-Reasoning-Pro-High'는 1136점을 기록하며 구글의 'Gemini-2.5-Pro-Grounding'(1142점)과 통계적 동률로 공동 1위에 올랐습니다. 두 모델 간의 맞대결만 떼어놓고 보면 Sonar의 승률이 53%로 소폭 앞섰습니다.

더 놀라운 점은 종합 성적입니다. Perplexity 모델들이 리더보드 1위부터 4위까지를 독식했으며, Gemini-2.0-Flash는 물론 GPT-4o Search를 포함한 오픈AI의 모든 웹 검색 모델을 큰 격차로 따돌렸습니다.

승부 가른 비결: 2~3배 많은 출처 검색

평가 결과에 따르면 사용자가 높은 점수를 준 답변에는 세 가지 공통점이 있었습니다. 긴 분량, 커뮤니티 기반 웹 출처 인용, 그리고 많은 출처 인용 수였습니다.

추론 능력이 적용된 모델들이 상위권을 휩쓸었으며, Sonar-Reasoning-Pro와 Sonar-Reasoning이 상위 3개 자리 중 2개를 차지했습니다.

특히 검색 깊이에서 큰 차이가 났습니다. Sonar 모델들은 비슷한 수준의 Gemini 모델보다 평균 2~3배 더 많은 웹 출처를 인용했습니다. 대조 실험에서 인용 출처 수를 강제로 제한하자 모델 간 점수 차이가 사라진 점을 보면, 결국 웹 문서를 얼마나 깊게 파고들었는지가 핵심 승부처였던 셈입니다.

왜 중요한가

심층 자료 조사나 코딩, 보고서 작성을 위해 AI를 쓰는 사용자라면 지금 당장 Perplexity의 Sonar 추론 모델을 기본 검색 모델로 써볼 만한 충분한 근거가 마련되었습니다. 단순 챗봇 검색에 비해 출처가 훨씬 촘촘하고 검증 가능성이 높습니다.

업계 관점에서는 거대 기초 모델을 가진 구글과 오픈AI를 상대로, 검색 엔지니어링과 추론 루프에 집중한 버티컬 기업이 판정승을 거뒀다는 점에서 의미가 큽니다.

우리는 Perplexity가 모델의 자체 지능뿐 아니라 '출처를 넓고 깊게 탐색하는 구조'에 집중한 판단이 매우 영리했다고 봅니다. 사용자가 검색 AI에 바라는 것은 화려한 문장이 아니라 확실한 출처와 근거이기 때문입니다. 다만 인용 출처가 2~3배 늘어나면 필연적으로 응답 지연 시간과 비용이 늘어날 수밖에 없으므로, 일상적인 빠른 검색 환경에서 속도와 비용을 어떻게 균형 있게 잡을지가 향후 과제가 될 것입니다.