跳到正文
IFAI

大模型

Sonus AI 釋出 Sonus-1 系列模型:推理版 MATH 跑分達 91.8%

首次發布 傳播指數 44

Sonus AI 推出 Sonus-1 系列大模型,提供 Mini、Air 及支援思維鏈推理的 Pro 版本。其中旗艦推理版在 MATH-500 拿到 91.8%,HumanEval 程式碼評測達 90.0%。全系列模型已上線網頁端供使用者試用。

各大頭部 AI 實驗室在數學和程式碼跑分上的貼臉肉搏,正在被更多新面孔打破。

初創團隊 Sonus AI 趕在新年第一天,正式推出了旗下的自研大語言模型家族 Sonus-1。他們一齣手就拿出了四款不同定位的配置,直接向市面上的主流商業閉源模型叫板。

這次上線的系列覆蓋了從輕量到高算力的完整梯隊。Sonus-1 Mini 主打極致的響應速度與低成本;Sonus-1 Air 則在資源消耗和輸出表現之間取平衡;旗艦檔位則是面向複雜任務的 Sonus-1 Pro,以及在此基礎上加入了思維鏈推理能力的 Sonus-1 Pro(w/ Reasoning)。

一堆衝著閉源旗艦去的跑分

官方重點展示的,正是帶思維鏈推理能力的 Sonus-1 Pro。從公佈的測試資料來看,這顆旗艦在重度依賴邏輯推導的數學和程式設計場景裡下了不少功夫。

在數學測試上,Sonus-1 Pro 推理版在 GSM-8k 拿下了 97.0%,在難度更高的 MATH-500 測試中跑出了 91.8% 的高分。

通用理解與科學推理方面,該模型在基準測試 MMLU 達到 90.15%,在進階版的 MMLU-Pro 上拿到 73.1%;針對博士級科學推理的 GPQA-Diamond 評測為 67.3%,閱讀理解與推理測試 DROP 成績則是 88.9%。

程式設計能力也是官方強調的重點。Sonus-1 Pro 推理版在基礎程式碼生成測試 HumanEval 拿到了 90.0%,在更貼近真實動態環境的 LiveCodeBench 上達到 51.9%,程式碼編輯基準 Aider-Edit 成績為 72.6%。

目前整個 Sonus-1 家族已經上線網頁端,使用者可以直接在官方聊天入口 chat.sonus.ai 進行試用。

為什麼重要

現在市面上能把 MATH-500 刷到 90% 以上、HumanEval 刷到 90% 的模型,基本都集中在少數幾家頭部廠商手裡。Sonus-1 如果在實際應用中真能穩定復現這些成績,對於需要做演算法刷題、工程程式碼重構和複雜數理計算的開發者來說,無疑又多了一個高性價比的替代選項。

不過,我們認為現在下結論還為時過早。Sonus AI 這次釋出的內容偏向產品宣發,官方並沒有公開模型的架構細節、引數規模,也沒有放開模型權重或給出具體的 API 計費標準。

跑分是一回事,真實複雜場景裡的抗幻覺能力和指令遵循又是另一回事。尤其是面對長文本互動和複雜的真實工程專案時,實際體驗往往會打折扣。感興趣的開發者可以先去網頁端隨手測幾個冷門邏輯題,先摸摸它的底細再做決定。

來源 (1)

  1. [1]
    sonus.ai(在新分頁開啟)原文sonus.ai

每日 AI 內容精選