IBMがGranite 4をオープンソース化：Mambaと融合しメモリ消費を6分の1に削減

IBMがオープンソース公開した「Granite 4」は、従来のTransformerとMamba状態空間モデルを融合させた言語モデル群です。長文推論時にメモリ消費が跳ね上がる課題の解決を目指しています。

モデルの規模は30億から320億パラメータまで用意されており、同等サイズのモデルと比べて少ないハードウェアリソースで高いパフォーマンスを発揮します。

モデルの構成と省メモリの仕組み

今回公開されたGranite 4シリーズは、用途に応じた4つのモデルで構成されています。

最も小さい30億パラメータのGranite-4.0-Microは、一般的なTransformerアーキテクチャを採用しており、標準的なアテンション機構で文中の重要箇所を判断します。

残る3モデルはハイブリッド構造です。Granite-4.0-H-Microは30億パラメータ、Granite-4.0-H-Tinyは70億パラメータで、どちらもレイテンシを重視し、応答速度が求められるタスク向けに設計されています。

最上位のGranite-4.0-H-Smallは320億パラメータで、Mixture of Experts（MoE）設計を採用しています。プロンプト処理時に活性化するパラメータを90億に抑えており、カスタマーサポートなどの業務処理を想定しています。

Transformerはプロンプトの長さが2倍になるとメモリ消費が4倍に膨らみますが、宇宙船の軌道計算などに使われていた状態空間モデルに基づくMamba-2を取り入れることで、この負担を大幅に減らしています。さらにMamba-2は主要コンポーネントを約25行のコードに圧縮しており、実行効率をさらに高めています。

社内ベンチマークによると、70億パラメータのGranite-4.0-H-Tinyのメモリ使用量は15GBにとどまり、前世代のGranite 3.3 8Bと比べて6分の1に削減され、出力品質も向上したとしています。

利用環境と今後の展開

Granite 4は現在、IBMのwatsonx.aiのほか、Hugging Faceを含む複数の外部プラットフォームでダウンロードおよび利用が可能です。

今後はAmazon SageMaker JumpStartやMicrosoft Azure AIへの提供も予定されており、推論能力を高めた新たなアルゴリズムの追加も計画されています。

なぜ重要か

ローカル環境や限られたサーバーリソースで長文処理やカスタマーサポート用のエージェントを動かしたい開発者にとって、Granite 4は試す価値のある選択肢です。

Transformerのメモリ消費問題に対してMambaの有効性は長く議論されてきましたが、大手ベンダーが実用的なオープンソースモデルとして投入した例は多くありません。7Bモデルが15GBのRAMで動作するとなれば、低コストなマシンでも実用的な長文推論が可能になり、推論コスト削減の現実的な道を開くことになります。