IBM 開源 Granite 4 系列:混合 Mamba 架構,視訊記憶體消耗降至六分之一
IBM 於週四開源 Granite 4 語言模型系列。該系列包含 30 億至 320 億引數的 4 款模型,將 Transformer 與 Mamba 狀態空間模型結合。官方測試顯示 Granite-4.0-H-Tiny 視訊記憶體佔用僅為前代的六分之一,大幅降低長文本推理成本。
IBM 於週四開源 Granite 4 語言模型系列。該系列包含 30 億至 320 億引數的 4 款模型,將 Transformer 與 Mamba 狀態空間模型結合。官方測試顯示 Granite-4.0-H-Tiny 視訊記憶體佔用僅為前代的六分之一,大幅降低長文本推理成本。