IBMがGranite 4をオープンソース化:Mambaと融合しメモリ消費を6分の1に削減
IBMは木曜日、Mamba-2とTransformerを組み合わせた言語モデル群「Granite 4」をオープンソース公開した。パラメータ数は30億から320億の4種類。70億モデルはメモリ使用量を前世代の6分の1に抑え、長文処理の推論コストを大幅に削減する。
IBMは木曜日、Mamba-2とTransformerを組み合わせた言語モデル群「Granite 4」をオープンソース公開した。パラメータ数は30億から320億の4種類。70億モデルはメモリ使用量を前世代の6分の1に抑え、長文処理の推論コストを大幅に削減する。