IBM 開源 Granite 4 系列：混合 Mamba 架構，視訊記憶體消耗降至六分之一

IBM 開源的 Granite 4 是一個把 Mamba 狀態空間模型和 Transformer 注意力機制揉在一起的語言模型家族，專門用來解決長文本推理時視訊記憶體暴漲的問題。

這套模型覆蓋了 30 億到 320 億引數，主要賣點就是用更少的硬體資源，跑出同等甚至更好的效果。

它包含哪些模型

這次開源的 Granite 4 系列一共包含四款模型，各自負責不同的場景。

最小的 Granite-4.0-Micro 擁有 30 億引數，依然基於純 Transformer 架構構建，靠標準的注意力機制來抓取上下文重點。

另外三款則採用了混合架構。Granite-4.0-H-Micro 引數量同樣是 30 億， Granite-4.0-H-Tiny 則是 70 億引數，兩款都面向低延遲場景，適合對響應速度要求極高的地方。

陣容裡最強的是 Granite-4.0-H-Small，擁有 320 億引數。它採用了混合專家（MoE）設計，每次回答提示詞只需要啟用其中的 90 億引數，適合用來處理客戶支援等複雜任務。

混合架構是怎麼省視訊記憶體的

傳統的 Transformer 模型在處理長文本時非常吃視訊記憶體，只要輸入的提示詞長度翻倍，注意力機制消耗的記憶體就會翻兩番。

Granite 4 的混合架構引入了去年的 Mamba-2 狀態空間模型。這種原本用來計算航天器飛行軌跡的數學結構，在挑選提示詞重點資訊的同時，不需要付出注意力機制那麼大的記憶體代價。

Mamba-2 還把核心元件濃縮到了大約 25 行程式碼裡，進一步壓榨了硬體效率。

在 IBM 的內部基準測試中，70 億引數的 Granite-4.0-H-Tiny 只需要 15GB 視訊記憶體，僅僅是前代純 Transformer 架構 Granite 3.3 8B 消耗的六分之一，同時生成質量還有所提升。

IBM 團隊表示，混合架構降低了訓練和推理成本，但模型準確率的提升，更主要來自於訓練及後訓練方法的改進，以及訓練資料集的擴充。

去哪裡體驗

Granite 4 目前已經上線 IBM watsonx.ai，並在 Hugging Face 等多個第三方平臺開放下載。

IBM 計劃後續把這批模型推送到 Amazon SageMaker JumpStart 和微軟 Azure AI，未來還會推出具備更強推理能力的新版本。

為什麼重要

如果你正在受困於企業本地部署的硬體成本，或者要在有限的視訊記憶體裡跑長提示詞、做客服智慧體，Granite 4 值得直接拉下來測試。

純 Transformer 在超長上下文下的二次方視訊記憶體爆炸一直是工程落地的心病，業界討論 Mamba 這類狀態空間模型已經很久，但真正願意把它做成主流開源權重的頭部大廠並不多。IBM 這一步走得很務實，直接把 7B 模型的視訊記憶體門檻砍到 15GB，讓單張消費級顯示卡或者低配伺服器跑長文本變成了可能。

不過，這類混合架構在極端複雜推理上的穩定性，依然需要社群給出更多實測反饋。但作為一套開箱即用的低成本備選方案，它已經給開源推理生態提供了一條極具價效比的新路。