オープンソース構造「Mamba-3」登場：遅延を抑えTransformer比で4%性能向上
カーネギーメロン大学のAlbert Gu氏とプリンストン大学のTri Dao氏が、Apache 2.0ライセンスのオープンソース状態空間モデルアーキテクチャ「Mamba-3」を公開しました。MIMO版はベンチマーク精度57.6%を記録し、Transformerに対して約4%向上。状態サイズを半減させつつMamba-2と同等の品質を維持し、複素数値状態の導入で推論遅延を削減します。
カーネギーメロン大学のAlbert Gu氏とプリンストン大学のTri Dao氏が、Apache 2.0ライセンスのオープンソース状態空間モデルアーキテクチャ「Mamba-3」を公開しました。MIMO版はベンチマーク精度57.6%を記録し、Transformerに対して約4%向上。状態サイズを半減させつつMamba-2と同等の品質を維持し、複素数値状態の導入で推論遅延を削減します。