跳到正文
IFAI

大模型

Sonus AI 发布 Sonus-1 系列模型:推理版 MATH 跑分达 91.8%

首次发布 传播指数 44

Sonus AI 推出 Sonus-1 系列大模型,提供 Mini、Air 及支持思维链推理的 Pro 版本。其中旗舰推理版在 MATH-500 拿到 91.8%,HumanEval 代码评测达 90.0%。全系列模型已上线网页端供用户试用。

各大头部 AI 实验室在数学和代码跑分上的贴脸肉搏,正在被更多新面孔打破。

初创团队 Sonus AI 赶在新年第一天,正式推出了旗下的自研大语言模型家族 Sonus-1。他们一出手就拿出了四款不同定位的配置,直接向市面上的主流商业闭源模型叫板。

这次上线的系列覆盖了从轻量到高算力的完整梯队。Sonus-1 Mini 主打极致的响应速度与低成本;Sonus-1 Air 则在资源消耗和输出表现之间取平衡;旗舰档位则是面向复杂任务的 Sonus-1 Pro,以及在此基础上加入了思维链推理能力的 Sonus-1 Pro(w/ Reasoning)。

一堆冲着闭源旗舰去的跑分

官方重点展示的,正是带思维链推理能力的 Sonus-1 Pro。从公布的测试数据来看,这颗旗舰在重度依赖逻辑推导的数学和编程场景里下了不少功夫。

在数学测试上,Sonus-1 Pro 推理版在 GSM-8k 拿下了 97.0%,在难度更高的 MATH-500 测试中跑出了 91.8% 的高分。

通用理解与科学推理方面,该模型在基准测试 MMLU 达到 90.15%,在进阶版的 MMLU-Pro 上拿到 73.1%;针对博士级科学推理的 GPQA-Diamond 评测为 67.3%,阅读理解与推理测试 DROP 成绩则是 88.9%。

编程能力也是官方强调的重点。Sonus-1 Pro 推理版在基础代码生成测试 HumanEval 拿到了 90.0%,在更贴近真实动态环境的 LiveCodeBench 上达到 51.9%,代码编辑基准 Aider-Edit 成绩为 72.6%。

目前整个 Sonus-1 家族已经上线网页端,用户可以直接在官方聊天入口 chat.sonus.ai 进行试用。

为什么重要

现在市面上能把 MATH-500 刷到 90% 以上、HumanEval 刷到 90% 的模型,基本都集中在少数几家头部厂商手里。Sonus-1 如果在实际应用中真能稳定复现这些成绩,对于需要做算法刷题、工程代码重构和复杂数理计算的开发者来说,无疑又多了一个高性价比的替代选项。

不过,我们认为现在下结论还为时过早。Sonus AI 这次发布的内容偏向产品宣发,官方并没有公开模型的架构细节、参数规模,也没有放开模型权重或给出具体的 API 计费标准。

跑分是一回事,真实复杂场景里的抗幻觉能力和指令遵循又是另一回事。尤其是面对长文本交互和复杂的真实工程项目时,实际体验往往会打折扣。感兴趣的开发者可以先去网页端随手测几个冷门逻辑题,先摸摸它的底细再做决定。

来源 (1)

  1. [1]
    sonus.ai(在新标签页打开)原文sonus.ai

每日 AI 内容精选