Perplexity, 초당 1200토큰 내뿜는 새 검색 모델 Sonar 출시

AI 검색을 쓸 때 가장 답답한 순간은 질문을 던져놓고 답변이 한 글자씩 느긋하게 타이핑되는 걸 멍하니 지켜볼 때입니다.

Perplexity가 검색 속도와 품질을 대폭 끌어올린 자체 맞춤형 모델 'Sonar' 최신 버전을 공개했습니다. 메타의 오픈소스 모델인 Llama 3.3 70B를 기반으로, 검색 결과의 사실성과 가독성을 집중적으로 다듬은 모델입니다.

가장 눈에 띄는 점은 Cerebras의 초고속 추론 인프라를 도입해 초당 1200토큰이라는 압도적인 생성 속도를 달성했다는 사실입니다.

초당 1200토큰, 사실상 대기 시간 제로

초당 1200토큰은 빠른 응답 속도로 유명한 Gemini 2.0 Flash보다도 약 10배 가까이 빠른 수준입니다. 엔터 키를 누르자마자 완성된 요약 답변이 화면에 즉시 나타납니다.

Perplexity가 진행한 온라인 A/B 테스트에 따르면, Sonar는 사용자 만족도 측면에서 동급 모델인 GPT-4o mini와 Claude 3.5 Haiku를 크게 앞질렀습니다. 심지어 고가 플래그십 모델인 Claude 3.5 Sonnet을 제치고 GPT-4o의 만족도에 바짝 근접했습니다.

명령어 이행 능력을 평가하는 IFEval과 도메인 지식을 측정하는 MMLU 벤치마크에서도 동급 경쟁 모델들을 모두 뛰어넘었습니다.

현재 Perplexity Pro 구독자는 설정에서 Sonar를 기본 검색 모델로 즉시 선택할 수 있습니다. API로도 제공되지만, API용 Cerebras 인프라 적용은 조만간 완료될 예정입니다.

왜 중요한가

매일 정보 검색과 자료 정리에 Perplexity를 쓰는 사용자라면 지금 바로 Sonar로 전환해 써볼 만합니다. 검색이라는 일상적인 작업에서 비싼 GPT-4o의 타이핑을 기다리는 것은 비효율적인데, Sonar는 체감 지연 시간을 완전히 없애 조사 속도를 극적으로 단축해 줍니다.

산업 측면에서도 Perplexity의 이번 선택은 매우 영리해 보입니다. 수조 원을 들여 처음부터 거대 모델을 사전 학습하는 대신, 검증된 오픈소스 모델을 가져와 자사 검색 서비스에 맞춰 정밀 튜닝하고 특화 추론 칩과 결합했습니다. 이를 통해 압도적으로 낮은 비용과 속도로 최고 수준의 사용자 경험을 뽑아내는 공식을 보여준 셈입니다.

우리는 버티컬 AI 기업들이 빅테크의 독점 모델에만 의존하지 않고 독자적인 경쟁력을 갖추는 훌륭한 선례가 될 것으로 봅니다. 복잡한 코딩이나 심층적인 다단계 추론에서는 여전히 거대 플래그십 모델이 앞서겠지만, 신뢰할 수 있는 출처를 빠르게 종합해 보여주는 검색 시장에서만큼은 '초고속 정확성'을 앞세운 Sonar가 강력한 무기가 될 것입니다.