开源架构 Mamba-3 亮相：推理延迟更低，性能比 Transformer 高 4%

Mamba-3 是一套主打高吞吐、低延迟的开源状态空间模型架构，由卡耐基梅隆大学的 Albert Gu 和普林斯顿大学的 Tri Dao 联合发布。它采用宽松的 Apache 2.0 许可证开源，不仅允许商用，还在 arXiv 上同步放出了技术论文。

简单来说，它是为了替代计算资源消耗巨大的 Transformer 而来的。它能让你在部署大语言模型做推理服务时，显著降低显存占用并减少显卡等待时间，特别适合处理超长上下文或对延迟要求极高的场景。

它是怎么跑得更快的

传统的 Transformer 模型在生成文本时，每写一个词都要把之前所有的词重新看一遍，对话越长，计算和显存开销就越大。Mamba-3 作为状态空间模型，机制完全不同：它在内部维护一个紧凑且不断更新的数字快照，新词进来时直接更新快照，不再回头重读全文。

上一代 Mamba-2 主要解决预训练吞吐问题，而 Mamba-3 彻底转向了「推理优先」设计。它重点解决的是硬件解码时的「冷 GPU」现象，也就是显卡算力闲置、一直干等内存搬运数据的问题。

更聪明的地方在于压缩状态。Mamba-3 仅用前代 Mamba-2 一半的状态大小，就跑出了相当的模型困惑度，相当于用更少的内容把语言规律记得一样牢。

针对以往状态空间模型在数理运算、模式追踪等简单推理任务上的「逻辑短板」，Mamba-3 引入了复数值状态，补齐了这一架构以往不擅长逻辑推理的缺陷。

15 亿参数下的测试表现

在 1.5B（15 亿参数）规模下，研究团队测试了 Mamba-3 的先进变体 MIMO。结果显示，它在多个基准测试中的平均准确率达到了 57.6%。

这个成绩比同等规模的行业标准 Transformer 高出了 2.2 个百分点，折算下来相对性能提升了近 4%。对于小参数量模型而言，每一分准确率的提升都非常难得。

在保持更高精度的同时，它砍半的状态尺寸直接降低了内存往返开销，让显卡在生成每个 token 时都能处于满负荷计算状态，大幅缩减了用户的等待时间。

目前研究团队已经在 GitHub 上放出了基于 Apache 2.0 许可证的代码与模型权重，论文也在 arXiv 上公开。开发者和企业技术团队现在就可以直接拉取代码，评估将其整合到自研推理引擎中的可行性。

为什么重要

我们认为 Mamba-3 走得最务实的一步，是把重点从「刷训练速度」转到了「优化推理成本」。大模型落地到现在，训练往往是一次性的，线上推理才是每天烧钱的无底洞；让显卡少空转、少搬显存，就是最直接的降本手段。

如果你正在搭建对延迟敏感的 API 服务、或者尝试把 1B 左右的模型塞进边缘设备与本地终端，Mamba-3 值得现在就去跑跑测试。它证明了非 Transformer 架构不仅能补上推理能力的短板，还能在小尺寸上正面击败老牌架构，未来与 Transformer 混合架构的落地演进也将更有看头。