IBM 开源 Granite 4 系列：混合 Mamba 架构，显存消耗降至六分之一

IBM 开源的 Granite 4 是一个把 Mamba 状态空间模型和 Transformer 注意力机制揉在一起的语言模型家族，专门用来解决长文本推理时显存暴涨的问题。

这套模型覆盖了 30 亿到 320 亿参数，主要卖点就是用更少的硬件资源，跑出同等甚至更好的效果。

它包含哪些模型

这次开源的 Granite 4 系列一共包含四款模型，各自负责不同的场景。

最小的 Granite-4.0-Micro 拥有 30 亿参数，依然基于纯 Transformer 架构构建，靠标准的注意力机制来抓取上下文重点。

另外三款则采用了混合架构。Granite-4.0-H-Micro 参数量同样是 30 亿， Granite-4.0-H-Tiny 则是 70 亿参数，两款都面向低延迟场景，适合对响应速度要求极高的地方。

阵容里最强的是 Granite-4.0-H-Small，拥有 320 亿参数。它采用了混合专家（MoE）设计，每次回答提示词只需要激活其中的 90 亿参数，适合用来处理客户支持等复杂任务。

混合架构是怎么省显存的

传统的 Transformer 模型在处理长文本时非常吃显存，只要输入的提示词长度翻倍，注意力机制消耗的内存就会翻两番。

Granite 4 的混合架构引入了去年的 Mamba-2 状态空间模型。这种原本用来计算航天器飞行轨迹的数学结构，在挑选提示词重点信息的同时，不需要付出注意力机制那么大的内存代价。

Mamba-2 还把核心组件浓缩到了大约 25 行代码里，进一步压榨了硬件效率。

在 IBM 的内部基准测试中，70 亿参数的 Granite-4.0-H-Tiny 只需要 15GB 显存，仅仅是前代纯 Transformer 架构 Granite 3.3 8B 消耗的六分之一，同时生成质量还有所提升。

IBM 团队表示，混合架构降低了训练和推理成本，但模型准确率的提升，更主要来自于训练及后训练方法的改进，以及训练数据集的扩充。

去哪里体验

Granite 4 目前已经上线 IBM watsonx.ai，并在 Hugging Face 等多个第三方平台开放下载。

IBM 计划后续把这批模型推送到 Amazon SageMaker JumpStart 和微软 Azure AI，未来还会推出具备更强推理能力的新版本。

为什么重要

如果你正在受困于企业本地部署的硬件成本，或者要在有限的显存里跑长提示词、做客服智能体，Granite 4 值得直接拉下来测试。

纯 Transformer 在超长上下文下的二次方显存爆炸一直是工程落地的心病，业界讨论 Mamba 这类状态空间模型已经很久，但真正愿意把它做成主流开源权重的头部大厂并不多。IBM 这一步走得很务实，直接把 7B 模型的显存门槛砍到 15GB，让单张消费级显卡或者低配服务器跑长文本变成了可能。

不过，这类混合架构在极端复杂推理上的稳定性，依然需要社区给出更多实测反馈。但作为一套开箱即用的低成本备选方案，它已经给开源推理生态提供了一条极具性价比的新路。