跳到正文
IFAI

开源项目

ZGCM-1:7.39B 参数主打数学与搜索,开源全套训练流程

首次发布 传播指数 48

中关村学院与中关村人工智能研究院开源 7.39B 参数模型 ZGCM-1,主打数学推理与工具辅助搜索。它支持 256K 上下文并公开了从预训练到微调的完整代码与数据,在 MATH-500 取得 97.13% 得分,能在消费级显卡上运行。不过有评测指出其基准测试对比了部分旧版模型。

ZGCM-1:7.39B 参数主打数学与搜索,开源全套训练流程
图:github.com

ZGCM-1 是中关村学院和中关村人工智能研究院开源的 7.39B 参数稠密语言模型,专门用来处理数学推理与工具辅助搜索。

它同时支持思考模式与直接回答模式,拥有 256K 的长上下文能力,可以直接部署在消费级显卡上运行。更关键的是,团队不仅放出了模型权重,还把从数据清洗、预训练到强化学习的完整流程全部端了出来。

它能做什么

数学推理是 ZGCM-1 的看家本领。在技术报告中,使用 256K 微调权重的思考模式下,它在 MATH-500 上拿到了 97.13% 的得分,在 AIME 2026 达到 75.00%,在 HMMT 2025 也有 70.42%。报告横向对比了包括 DeepSeek-R1-0528-Qwen3-8B 和 Qwen3-8B 在内的 7 款同量级模型,它在 14 项推理基准上的综合平均排名位列第一。

除了低头算题,它还擅长抬头搜索。在工具辅助的多步搜索评测中,ZGCM-1 在 WebWalkerQA 上取得了 63.09% 的成绩,BrowseComp 达到 19.43%,文本版 GAIA 达到 42.52%。在允许调用 Ghidra 工具的二进制函数搜索任务中,它在 50 个任务里完成了 31 个精确匹配,准确率为 62.00%。

怎么做到的

小模型要塞进这么多能力,关键在架构与多阶段训练的配合。

ZGCM-1 采用了混合注意力机制。整个 32 层结构里,有 27 层门控滑动窗口注意力,局部窗口仅为 128 token,另外搭配 5 层全局注意力。这种设计让它在处理 256K 极长上下文时,训练吞吐量比全注意力机制提升了 3.94 倍。

预训练阶段,模型吞掉了约 4.19T token,全面采用了混合 FP8 精度和 Muon 优化器。报告估算,通过架构、精度、优化器和归一化的组合优化,在 16K 预训练中达到目标 loss 的时间缩短了大约 4.2 倍。

紧接着的中间训练阶段处理了约 600B token,上下文长度按 16K、64K、256K 逐步拉伸,并把交互轨迹重新构建为马尔可夫决策过程的状态转移来监督决策。最后的监督微调则混合了通用任务与智能体任务,并配合执行验证轨迹与仅针对助手回答的损失函数。

硬件与开放程度

ZGCM-1 只有 7.39B 参数,单张消费级显卡就能轻松装下并运行推理。

开放程度是这个项目最彻底的地方。仓库以 MIT 许可证分发,代码仓库按数据处理、预训练、中间训练、监督微调和强化学习分成了五个完整目录,每个目录都附带专属配置和运行说明。模型权重和清洗后的数据集已经同步托管在 Hugging Face 上。

为什么重要

对于个人开发者和边缘计算场景来说,ZGCM-1 是一个极其实用的轻量级利器。你不需要租用昂贵的企业级多卡集群,在本地单卡上就能跑起一个兼顾高难度竞赛数学和网络搜索工具调用的推理模型。

不过外部评测也提醒道,官方技术报告在部分基准对比中选用了较旧版本的基线模型,存在一定程度的选择性比较。但退一步讲,在这个体量下做到超过 97% 的 MATH-500 表现,并且愿意把从数据清洗到 RL 的全套菜谱完全开源,这种透明度在当前开源社区里依然非常难得,值得需要做本地推理智能体的开发者亲自上手跑一跑。

来源 (2)

  1. [1]
    github.com(在新标签页打开)原文github.com
  2. [2]
    youtube.com(在新标签页打开)报道youtube.com

每日 AI 内容精选