Nanbeige 4.2 开源:3B 智能体模型靠循环架构跑赢 9B
Nanbeige 发布 30 亿参数的小型智能体模型 Nanbeige 4.2。它采用循环 Transformer 架构,通过复用网络层来增加计算深度,完整模型仅 8GB,消费级显卡即可运行。在多项智能体评测中,其表现超越了 3 倍体量的 Qwen 3.5 9B。
很多人想在自己的本地电脑上跑一个真正能干活的 AI 智能体,但现实往往很尴尬:能干活的模型太大,显存直接撑爆;塞得进消费级显卡的小模型,又经常在复杂长任务里犯傻。现在,这种妥协可能要有解法了。
Nanbeige 正式开源了 30 亿参数的紧凑型智能体模型 Nanbeige 4.2。最让人意外的是,这个非嵌入参数仅 3B 的小家伙,在多项核心智能体评测中,直接超越了参数量是其三倍的 Qwen 3.5 9B,甚至逼平了接近四倍体量的 Google Gemma 4(12B)。
把数据送回网络再跑一圈
Nanbeige 4.2 之所以能以小博大,核心秘密在于它采用的循环 Transformer 架构(Looped Transformer)。
普通大模型处理数据时,每一层网络只走一遍。而 Nanbeige 选择复用相同的层结构,让隐藏状态像在回回路里一样再次穿过网络层。这就等于在不增加独立参数量的前提下,大幅拉伸了模型的计算深度。
研发团队从零开始,用这种循环架构在 28T token 的海量数据上进行了预训练。因为参数只有 30 亿,完整的模型权重体积只有 8GB 左右,绝大多数主流消费级 GPU 都能轻松吞下。模型上线后反响热烈,据相关评测视频介绍,仅发布两天其在 Hugging Face 上的下载量就突破了 4000 次。
为了让它真正具备落地干活的能力,团队还构建了一套混合环境池,包含大量真实环境与合成资产,覆盖代码仓库级维护和办公软件任务。在后训练上,他们引入了覆盖 Think 与 Non-Think 输出的两阶段 RLHF,并配合长度控制推理以及结合结果与过程奖励的智能体强化学习,专门解决长流程任务容易走偏、死循环和幻觉的痛点。
越级打平 12B 模型
从实测基准来看,Nanbeige 4.2 几乎成了当前参数效率最顶尖的选手之一。
在代码智能体基准 SWE-bench Verified、SWE-bench Pro,以及终端操作基准 Terminal Bench、工具调用基准 MCP Atlas 和 Claw Eval 上,它的综合表现全面优于同级别的 Qwen 3.5 4B,并稳步超越了 9B 级别的 Qwen 3.5。
即使在考查硬核推理和通识知识的 GPQA Diamond 与 Humanity’s Last Exam 上,面对参数量接近其四倍的 Google Gemma 4(12B),它同样展现出了极具竞争力的统治力。结合开源智能体框架 OpenClaw,Nanbeige 4.2 已经可以充当本地个人助理,处理日常答疑、复杂表格处理和深度研究调研。
为什么重要
对开发者和极客用户来说,Nanbeige 4.2 最大的价值在于把全功能个人智能体的门槛拉到了消费级硬件上。你不需要租用昂贵的云端 A100,也不用把敏感的代码库和公司文档上传给第三方服务,一张普通显卡就能把一个懂工具调用、能自己查错改代码的助手跑在本地。
对整个行业而言,它验证了一条不同于盲目堆参数的技术路线:通过架构层面的循环复用,小模型依然可以通过延长有效计算时间来换取极高的任务完成率。未来端侧 AI 和边缘设备未必需要动辄数十亿的新参数,架构巧思同样能带来代际跃迁。
我们认为这一步走得相当务实。当然,循环架构也有它的潜在代价——反复通过网络层意味着推理时的 Token 生成速度可能会慢于同尺寸传统模型,它是用时间换参数。但对于更看重结果准确率的长流程智能体任务来说,多等两秒但把事情办对,显然比飞速给出一个满是漏洞的回答聪明得多。
来源 (2)
- arxiv.org(在新标签页打开)原文arxiv.org
- youtube.com(在新标签页打开)报道youtube.com