Ricursive 开源 Ripple-65B：65B 纯稠密模型跑赢多款几千亿 MoE 旗舰

现在大模型圈子里几乎人人都在聊 MoE（混合专家模型），动不动就堆出几千亿总参数，每次推理只激活几十亿，图的就是省算力、省显存。

由前谷歌研究员创立的人工智能实验室 Ricursive Intelligence 偏要反着来。他们刚刚以 Apache 2.0 协议开源了 65B 纯稠密模型 Ripple-65B Preview，不仅支持 100 万上下文，而且在智能体编程测试里，正面掀翻了一众体量大它十倍的巨无霸。

5 个人与 3200 万美元的硬仗

Ripple-65B Preview 是 Ricursive 专为自家 AI 芯片设计平台打造的核心模型，这次开源的是它的通用变体。

最让人惊讶的是研发成本。前两年业内常说训练顶尖大模型要花数亿甚至十亿美元，而 Ricursive 团队在研发过程中只从 1 个人扩张到 5 个人，从零搭建模型 ladder、搞数据配比、合成数据生成和后训练，整个研发总花销只用了 3200 万美元。

全量模型在 12 万亿 token 上完成从头预训练，整个过程保持了 40% 的硬件模型算力利用率（MFU）。他们没写复杂的自定义内核，也没走当时主流的极端量化，纯粹用标准 BF16 和简单的分片技术就把大任务啃了下来。

纯稠密架构为何能逆袭千亿 MoE

MoE 虽然理论上推理激活参数少，但在分布式通信、训练稳定性和长上下文吞吐上带来了极高的工程复杂度。

Ricursive 决定回归纯稠密 Transformer，但采用了又窄又深的设计。Ripple-65B 拥有 80 层网络，隐藏层维度收敛到 5120，结构上参考了 Gemma 3N 的设计以保证大规模训练的稳定性，同时引入了门控注意力、残差值、FFN 激活截断以及全局 NoPE。

后训练阶段他们没有采买外部数据，而是靠自研的合成数据流水线和强化学习策略，只用了 140 万次 rollout 就完成了陡峭的能力拉升。这个调用规模比此前开源顶尖模型 Reflection Beam 少了近 70 倍。

在核心的智能体编程评测 TerminalBench 2.1 上，Ripple-65B Preview 跑出了 80.52 分，拿下了美国开放权重模型的新纪录。作为对比，501B 的 Reflection Beam 得分为 80.1，816B 的 Meta Muse Spark Open 为 76.4，975B 的 Thinking Machines Inkling 为 63.8，而英伟达 550B 的 Nemotron 3 Ultra 只有 56.4 分。

模型除了提供标准 BF16 权重，还放出了 NVFP4 检查点，开发者可以直接用消费级设备或者单台图形工作站跑起来；在两张 B200 GPU 上，它的推理生成速度能达到每秒 250 token。

为什么重要

对于想要自建私有代码智能体或本地部署编程助手的开发者和企业来说，Ripple-65B 提供了一个极其划算的新选择。千亿级别的 MoE 即使激活参数少，把几百 GB 甚至上 TB 的权重全部载入内存也需要多张昂贵的高端显卡。65B 的稠密体量不仅对显存带宽友好，配合 NVFP4 还能下放到工作站级别设备，部署和运维门槛骤降。

对整个行业而言，这项成果狠狠敲了一记警钟：模型能力的上限远没有被单纯的参数堆砌所垄断。很多实验室为了刷榜盲目转向庞大而松散的 MoE 架构，反而忽视了优质天然数据配比、高效合成过滤以及稳健稠密架构的潜力。

我们认为 Ricursive 的打法非常聪明，他们把精力花在精细的数据梯队优化和软硬件协同设计上，用 5 人的小团队证明了小团队在大模型底座依然有一战之力。不过它的局限也很明显，纯稠密模型在每次生成时必须全量激活 650 亿参数，在高并发的大规模云端服务场景下，每 token 的计算成本依然会高于小激活参数的 MoE。但至少在本地和高难度单任务场景里，它给开源界交出了一份惊艳的答卷。