소너스 AI, 'Sonus-1' LLM 제품군 출시: 추론형 Pro 수학 벤치마크 91.8%

주요 빅테크 기업들이 주도하던 벤치마크 경쟁에 새로운 도전자가 등장했습니다.

소너스 AI(Sonus AI)는 다양한 작업 환경에 맞춘 자체 대규모 언어 모델 제품군 'Sonus-1'을 공식 발표했습니다.

이번 라인업은 성능과 비용 요구치에 따라 네 가지 형태로 구성되었습니다. 빠른 응답 속도와 가성비를 내세운 Sonus-1 Mini, 성능과 리소스의 균형을 맞춘 Sonus-1 Air, 복잡한 작업을 위한 Sonus-1 Pro, 그리고 연쇄 사고(CoT) 추론 기능을 추가한 최상위 모델 Sonus-1 Pro(w/ Reasoning)입니다.

수학과 코딩 중심의 벤치마크 결과 공개

공식 블로그를 통해 공개된 핵심 데이터는 추론 기능이 탑재된 Sonus-1 Pro에 집중되어 있습니다. 특히 수학적 논리와 프로그래밍 벤치마크에서 기존 상용 모델들을 겨냥한 점수를 공개했습니다.

수학 영역에서는 GSM-8k에서 97.0%, 고난도 테스트인 MATH-500에서 91.8%의 점수를 기록했습니다.

일반 추론 및 과학 역량을 측정하는 MMLU에서는 90.15%, 심화 버전인 MMLU-Pro에서는 73.1%를 달성했습니다. 박사급 과학 추론을 다루는 GPQA-Diamond는 67.3%, DROP 벤치마크는 88.9%로 집계되었습니다.

코드 생성 부문에서는 HumanEval에서 90.0%를 기록했으며, 실제 환경 기반의 LiveCodeBench에서 51.9%, 코드 수정 성능을 보는 Aider-Edit에서 72.6%를 달성했다고 밝혔습니다. 현재 공식 웹사이트(chat.sonus.ai)에서 모델을 직접 체험해 볼 수 있습니다.

왜 중요한가

MATH-500과 HumanEval에서 나란히 90% 이상을 기록하는 것은 그동안 소수 대형 연구소 모델들의 전유물이었습니다. 실제 환경에서도 이 정도 성능이 안정적으로 유지된다면, 코딩 작업이나 수리적 계산을 자주 수행하는 개발자들에게 매력적인 대안이 될 수 있습니다.

다만 공개된 정보에 대해 신중하게 접근할 필요가 있다고 봅니다. 소너스 AI는 모델의 구체적인 파라미터 크기나 훈련 방법, 정식 API 가격 책정 등을 아직 공개하지 않았습니다. 벤치마크 지표와 실무 프로젝트에서의 체감 성능 사이에는 늘 간극이 존재하는 만큼, 웹 인터페이스에서 직접 까다로운 프롬프트를 넣어 검증해 보는 과정이 우선되어야 합니다.